要約
深層ニューラルネットワークを手作業で設計するには膨大な時間と労力がかかる。この問題を解決するため、設計プロセスを自動化するためのニューラルアーキテクチャ探索（Neural Architecture Search: NAS）技術の開発が進んできた。しかし、従来のNASアルゴリズムは計算コストが高く、処理が遅い傾向にあり、探索プロセスを支えるために多数の候補ネットワークを訓練する必要がある。このような課題は、ネットワークの初期状態からその訓練後の精度を部分的に予測できるようになれば、大幅に軽減される可能性がある。本研究では、未訓練状態のネットワークにおけるデータポイント間の活性化の重なり（activation overlap）に着目し、それが訓練後の性能を有効に予測する指標として有用であることを示唆する。この指標をシンプルなアルゴリズムに組み込み、単一のGPU上で数秒の時間で高性能なネットワークの探索を実現した。また、NAS-Bench-101、NAS-Bench-201、NATS-Bench、およびNetwork Design Spacesの4つのベンチマークにおいて、その有効性を検証した。本手法は、より高コストな探索手法とも容易に組み合わせ可能である。本研究では、正則化された進化的探索（regularised evolutionary search）の簡単な拡張を検討した。実験の再現に使用可能なコードは、https://github.com/BayesWatch/nas-without-training にて公開されている。