要約
近年、ニューラルアーキテクチャサーチ（NAS）に対する関心は急激に高まっている。多くのNASアルゴリズムは、繰り返しアーキテクチャを選定し、その性能を学習によって評価した後、これまでのすべての評価結果をもとに次のアーキテクチャを選定するという、アーキテクチャ空間内の探索プロセスを採用している。しかし、評価ステップにはノイズが含まれており、重みのランダム初期化の違いによって最終的な精度が変動する。これまでの研究では、このノイズに対処するための新しい探索アルゴリズムの開発に注力してきたが、アーキテクチャ評価におけるノイズの程度を定量化したり、その性質を理解するには至らなかった。本研究では、（1）最も単純な勾配上昇法（ヒルクライミング）がNASにおいて強力なベースラインとなり得ること、および（2）代表的なNASベンチマークデータセットにおけるノイズを最小限に抑えた場合、ヒルクライミングが多数の最先端アルゴリズムを上回ることを示す。さらに、ノイズが減少するにつれて局所最適解の数が著しく減少することを実証し、NASにおける局所探索の性能について理論的な特性を提示することで、この観察を裏付けている。本研究の知見を踏まえ、NASの研究においては、（1）局所探索をベースラインとして採用すること、および（2）可能な限り学習パイプラインのノイズ除去を行うことを提言する。