CR-LSO：入力凸ニューラルネットワークを用いたグラフ変分オートエンコーダの潜在空間における凸ニューラルアーキテクチャ最適化

潜在空間最適化（LSO）に基づくニューラルアーキテクチャ探索（NAS）手法では、深層生成モデルが離散的なニューラルアーキテクチャを連続的な潜在空間に埋め込むように学習される。この場合、連続空間上で動作する異なる最適化アルゴリズムを用いて、ニューラルアーキテクチャの探索が可能となる。しかしながら、勾配に基づくLSOにおいて、潜在空間からアーキテクチャの性能への写像は一般に凸でないため、潜在変数の最適化は困難である。この問題に対処するために、本研究では凸性正則化潜在空間最適化（CR-LSO）手法を提案する。この手法は、潜在空間の学習プロセスを正則化し、アーキテクチャ性能との間の写像を凸にする目的を有する。具体的には、CR-LSOはグラフ変分自己符号化器（G-VAE）を用いて、離散的アーキテクチャの連続表現を学習する。同時に、入力凸ニューラルネットワーク（ICNN）による保証された凸性を用いて、潜在空間の学習プロセスを正則化する。これにより、G-VAEはアーキテクチャ表現から性能への凸な写像を学習するよう強制される。その後、CR-LSOはICNNを用いて性能写像を近似し、推定された勾配を活用してニューラルアーキテクチャ表現を最適化する。3つの代表的なNASベンチマークにおける実験結果から、CR-LSOは計算複雑性とアーキテクチャ性能の両面で競争力のある評価結果を達成することが示された。