
要約
従来のニューラルアーキテクチャ探索(NAS)手法は、強化学習や進化的戦略に基づくものが多く、CIFAR-10上で良好なモデルを見つけるために3000 GPU時間以上を要する。本研究では、勾配降下法を用いた探索学習に基づく効率的なNASアプローチを提案する。本手法は、探索空間を有向非巡回グラフ(DAG)として表現する。このDAGには数十億もの部分グラフが含まれており、それぞれが一種のニューラルアーキテクチャを表す。すべての部分グラフの組み合わせを探索するのを避けるために、DAG上での微分可能サンプラーを提案する。このサンプラーは学習可能であり、サンプリングされたアーキテクチャを訓練した後の検証損失に基づいて最適化される。これにより、本手法は勾配降下法を用いてエンド・ツー・エンドに学習可能となり、微分可能なアーキテクチャサンプラーを用いた勾配ベース探索(GDAS)と命名する。実験において、CIFAR-10上で1回の探索プロセスを4 GPU時間で完了でき、発見されたモデルはパラメータ数わずか250万でテスト誤差2.82%を達成し、最先端の性能と同等である。コードはGitHub上で公開されている:https://github.com/D-X-Y/NAS-Projects。