要約
従来のニューラルアーキテクチャ探索（NAS）手法は、スケーラビリティに乏しい離散的表現を用いるものや、アーキテクチャ表現とその最適化を同時に学習する教師あり学習ベースの手法を採用しているが、後者では探索バイアスが生じる。こうした手法は広く用いられているものの、NASで学習されるアーキテクチャ表現の本質は依然として十分に理解されていない。本研究では、アーキテクチャ表現学習と探索を結合すると、ニューラルアーキテクチャの構造的特性が潜在空間にうまく保存されにくく、探索効率が低下することを実証的に確認した。本研究では、アーキテクチャの精度をラベルとせずに、純粋にニューラルアーキテクチャのみを用いて事前学習を行うことで、下流のアーキテクチャ探索の効率が顕著に向上することを発見した。この現象を説明するために、非教師ありアーキテクチャ表現学習が、類似した接続構造や演算子を持つニューラルアーキテクチャが潜在空間内でより強くクラスタリングされることを可視化した。これにより、性能が類似するアーキテクチャが潜在空間の同一領域にマッピングされ、潜在空間におけるアーキテクチャの遷移が滑らかになる。この特性は、多様な下流探索戦略にとって顕著な利点をもたらす。