HyperAIHyperAI

Command Palette

Search for a command to run...

iDARTS:ノード正規化と相関除去離散化によるDARTSの改善

Huiqun Wang Ruijie Yang Di Huang Yunhong Wang

概要

Differentiable ARchiTecture Search(DARTS)は、ネットワーク表現の連続的緩和を用いることで、GPU日単位でニューラルアーキテクチャ探索(NAS)をほぼ数千倍高速化する。しかし、DARTSの探索プロセスは不安定であり、訓練エポック数が増加するにつれて著しく性能が低下する問題を抱えており、その応用を制限している。本論文では、この性能低下の原因が、異なるノード間におけるノルムの不均衡および様々な演算から得られる出力の高相関性にあると主張する。そこで、この2つの問題に対処するため、DARTSの改良版であるiDARTSを提案する。学習段階では、ノード正規化を導入してノルムのバランスを維持する。離散化段階では、アーキテクチャパラメータの値ではなく、ノード出力と非相関化された演算との類似性に基づいて、連続的なアーキテクチャを近似する。CIFAR-10およびImageNetにおいて広範な評価を実施した結果、アーキテクチャ探索にそれぞれ0.2および1.9 GPU日を要した状態で、誤差率2.25%および24.7%を達成した。これにより、本手法の有効性が示された。さらに、追加の分析から、他のDARTSに基づく手法と比較して、iDARTSはロバスト性および一般化性能において優れていることが明らかになった。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています