自動ニューラルアーキテクチャ設計は、強力なニューラルネットワークアーキテクチャの発見においてその可能性を示しています。既存の手法は、強化学習または進化アルゴリズム（EA）に基づいていますが、離散空間でのアーキテクチャ探索を行っており、これは非常に非効率的です。本論文では、連続最適化に基づく自動ニューラルアーキテクチャ設計のための単純かつ効率的な方法を提案します。この新しい手法をニューラルアーキテクチャ最適化（Neural Architecture Optimization, NAO）と呼びます。提案手法には3つの主要な構成要素があります：(1) エンコーダがニューラルネットワークアーキテクチャを連続空間に埋め込み/マッピングします。(2) プレディクタがネットワークの連続表現を取り入れ、その精度を予測します。(3) デコーダがネットワークの連続表現を元のアーキテクチャに戻します。性能予測器とエンコーダにより、連続空間で勾配ベースの最適化を行い、より高い精度を持つ新しいアーキテクチャの埋め込みを見つけることが可能になります。このようなより優れた埋め込みは、その後デコーダによってネットワークに復元されます。実験結果によると、CIFAR-10での画像分類タスクとPTBでの言語モデル化タスクにおいて、当手法によって発見されたアーキテクチャは非常に競争力があり、以前のアーキテクチャ探索手法の最高結果を超えるか同等以上の性能を示しました。計算リソースを大幅に削減しながらも、具体的にはCIFAR-10画像分類タスクで1.93%のテストセット誤差率とPTB言語モデル化タスクで56.0のテストセットパープレキシティを得ています。さらに最近提案された重み共有メカニズムと組み合わせることで、CIFAR-10（誤差率2.93%）とPTB（テストセットパープレキシティ56.6）において強力なアーキテクチャを発見し、両方のタスクに対して非常に限定的な計算リソース（10時間未満のGPU時間）で達成しました。