パラメータ共有を用いた効率的なニューラルアーキテクチャサーチ

効率的なニューラルアーキテクチャサーチ（Efficient Neural Architecture Search, ENAS）を提案します。これは自動モデル設計のための高速かつ低コストな手法です。ENASでは、コントローラが大規模な計算グラフ内から最適な部分グラフを見つけ出すことでニューラルネットワークのアーキテクチャを学習的に発見します。コントローラは方策勾配法で訓練され、検証セットでの期待報酬を最大化する部分グラフを選択します。一方、選択された部分グラフに対応するモデルは標準的なクロスエントロピー損失を最小化するために訓練されます。子モデル間でのパラメータ共有により、ENASは高速です：既存のすべての自動モデル設計手法よりも大幅に少ないGPU時間で強力な実験的性能を達成し、特に従来のニューラルアーキテクチャサーチと比較して1000倍安価です。Penn Treebankデータセットにおいて、ENASは新しいアーキテクチャを見出し、テストパープレキシティ55.8を達成しました。これにより、ポストトレーニング処理なしでこれまでの方法の中で最良の結果を更新しています。CIFAR-10データセットにおいても、ENASは新しいアーキテクチャを見出し、テスト誤差率2.89%を達成しました。これはNASNet（Zophら, 2018年）のテスト誤差率2.65%と同等の性能です。