17日前

EPE-NAS:トレーニングを必要としないニューラルアーキテクチャサーチにおける効率的なパフォーマンス推定

Vasco Lopes, Saeid Alirezazadeh, Luís A. Alexandre
EPE-NAS:トレーニングを必要としないニューラルアーキテクチャサーチにおける効率的なパフォーマンス推定
要約

ニューラルアーキテクチャサーチ(NAS)は、コンピュータビジョン問題におけるアーキテクチャ設計において優れた成果を示している。NASは、アーキテクチャ設計とエンジニアリングを自動化することで、人間による設定に依存する必要を軽減する。しかし、NAS手法は、大量のGPU計算を要するため、処理が遅い傾向にある。このボトルネックの主な原因は、性能推定戦略にある。すなわち、生成されたアーキテクチャの性能を評価するためには、主に訓練を実施する必要があり、その結果をもとにサンプリング手法を更新する必要がある。本論文では、未訓練のネットワークのスコアリングにより、訓練済みネットワークの性能との相関関係を構築する、効率的な性能推定戦略「EPE-NAS」を提案する。この手法は、未訓練ネットワークにおけるクラス内およびクラス間の相関関係に着目することで、性能評価の負荷を軽減する。実験の結果、EPE-NASは堅牢な相関関係を生成できることを示し、単純なランダムサンプリング戦略と組み合わせることで、1枚のGPUを用いて数秒の時間で競争力のあるネットワークを探索可能である。さらに、EPE-NASは未訓練ネットワークの評価に焦点を当てているため、検索手法に依存せず、ほぼすべてのNAS手法に容易に統合可能である。

EPE-NAS:トレーニングを必要としないニューラルアーキテクチャサーチにおける効率的なパフォーマンス推定 | 最新論文 | HyperAI超神経