HyperAIHyperAI

Command Palette

Search for a command to run...

iDARTS:確率的陰伏勾配を用いた微分可能アーキテクチャ探索

Miao Zhang Steven Su Shirui Pan Xiaojun Chang Ehsan Abbasnejad Reza Haffari

概要

\textit{Differentiable ARchiTecture Search}(DARTS)は、その効率性と簡潔さから、近年、ニューラルアーキテクチャ探索(NAS)の主流となった。DARTSは、重み共有サーパネットを用い、勾配に基づく二段階最適化により、内部モデルの重みと外部アーキテクチャパラメータを交互に最適化する。学習されたアーキテクチャのスケーラビリティおよび品質において重要な課題は、内部ループの最適化を微分可能にする必要性にある。DARTSにおけるいくつかの致命的な要因については多くの議論がなされてきたが、アーキテクチャ勾配(すなわちハイパーグラディエント)については相対的に注目が薄い。本論文では、陰関数定理に基づいてDARTSにおけるハイパーグラディエントの計算を扱い、内部ループ最適化の解にのみ依存し、最適化経路に依存しない手法を提案する。さらに計算負荷を低減するために、微分可能なNAS向けの確率的ハイパーグラディエント近似を定式化し、理論的に本手法(iDARTSと命名)を用いたアーキテクチャ最適化が静止点に収束することが期待されることを示す。2つのNASベンチマーク探索空間および一般的なNAS探索空間における包括的な実験により、本手法の有効性を検証した。その結果、ベースライン手法で学習されたアーキテクチャを大幅に上回る性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
iDARTS:確率的陰伏勾配を用いた微分可能アーキテクチャ探索 | 記事 | HyperAI超神経