{Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang}

要約
ニューラルアーキテクチャ探索(Neural Architecture Search: NAS)は、自動的なニューラルネットワーク設計を実現する有望な技術として注目されている。しかし、従来のMCTS(モンテカルロ木探索)に基づくNAS手法は、しばしば手動で設計されたアクション空間を用いている。このアクション空間は、最適化対象の性能指標(例えば、精度)と直接的な関係を持たないため、アーキテクチャの探索がサンプル効率が極めて低いという課題を抱えている。本稿では、この問題を解決するため、潜在的アクションを学習することで、探索空間を性能指標が類似する「良い領域」と「悪い領域」に再帰的に分割する「潜在的アクションニューラルアーキテクチャ探索(Latent Action Neural Architecture Search: LaNAS)」を提案する。探索フェーズでは、異なるアクションシーケンスが異なる性能を持つ領域を生成するため、良い領域に偏る探索戦略を採用することで、探索効率を大幅に向上できる。3つのNASタスクにおける実証実験の結果、LaNASは進化的アルゴリズム、ベイズ最適化、ランダムサーチを含むベースライン手法と比較して、少なくとも1桁以上サンプル効率が優れていることが示された。実用的応用においても、ワンショット版および通常版のLaNASは、既存手法を一貫して上回る性能を達成した。特に、CIFAR-10では99.0%の精度、ImageNetでは600 MFLOPSで80.8%のTop-1精度を800サンプルで達成し、AmoebaNetと比較して33倍少ないサンプル数で顕著に優れた結果を示した。
コードリポジトリ
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| image-classification-on-cifar-10 | LaNet | Percentage correct: 99.03 |