要約
我々は、自動モデル設計における高速かつ低コストな手法として、効率的ニューラルアーキテクチャ探索（Efficient Neural Architecture Search; ENAS）を提案する。ENASは、大きな計算グラフを構築し、その中の各部分グラフがニューラルネットワークのアーキテクチャを表すように設計することで、すべてのアーキテクチャがパラメータを共有するよう強制する。このアーキテクチャ探索を担当するコントローラーは、ポリシー勾配法を用いて、検証データセット上で期待報酬を最大化する部分グラフを探索する。一方、選択された部分グラフに対応するモデルは、標準的な交差エントロピー損失を最小化するように学習される。子モデル間でのパラメータ共有により、ENASは従来の自動モデル設計手法と比べてはるかに少ないGPU時間で優れた実験的性能を達成でき、特に従来のニューラルアーキテクチャ探索（NAS）と比較して1000倍以上コストが低くなる。Penn Treebankにおいて、ENASは新たなアーキテクチャを発見し、テストの困惑度（perplexity）を56.3まで低下させ、訓練後の処理を施さない他のすべての手法と同等の最先端水準に達した。CIFAR-10では、ENASが新たなアーキテクチャを発見し、テスト誤差2.89％を達成した。これは、NASNet（Zophら、2018年）の2.65％のテスト誤差と同等の性能である。