HyperAIHyperAI

Command Palette

Search for a command to run...

トレーニングを伴わないニューラルアーキテクチャサーチ

Joseph Mellor Jack Turner Amos Storkey Elliot J. Crowley

概要

深層ニューラルネットワークを手作業で設計するには膨大な時間と労力がかかる。この問題を解決するため、設計プロセスを自動化するためのニューラルアーキテクチャ探索(Neural Architecture Search: NAS)技術の開発が進んできた。しかし、従来のNASアルゴリズムは計算コストが高く、処理が遅い傾向にあり、探索プロセスを支えるために多数の候補ネットワークを訓練する必要がある。このような課題は、ネットワークの初期状態からその訓練後の精度を部分的に予測できるようになれば、大幅に軽減される可能性がある。本研究では、未訓練状態のネットワークにおけるデータポイント間の活性化の重なり(activation overlap)に着目し、それが訓練後の性能を有効に予測する指標として有用であることを示唆する。この指標をシンプルなアルゴリズムに組み込み、単一のGPU上で数秒の時間で高性能なネットワークの探索を実現した。また、NAS-Bench-101、NAS-Bench-201、NATS-Bench、およびNetwork Design Spacesの4つのベンチマークにおいて、その有効性を検証した。本手法は、より高コストな探索手法とも容易に組み合わせ可能である。本研究では、正則化された進化的探索(regularised evolutionary search)の簡単な拡張を検討した。実験の再現に使用可能なコードは、https://github.com/BayesWatch/nas-without-training にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています