17日前
iDARTS:確率的陰伏勾配を用いた微分可能アーキテクチャ探索
Miao Zhang, Steven Su, Shirui Pan, Xiaojun Chang, Ehsan Abbasnejad, Reza Haffari

要約
\textit{Differentiable ARchiTecture Search}(DARTS)は、その効率性と簡潔さから、近年、ニューラルアーキテクチャ探索(NAS)の主流となった。DARTSは、重み共有サーパネットを用い、勾配に基づく二段階最適化により、内部モデルの重みと外部アーキテクチャパラメータを交互に最適化する。学習されたアーキテクチャのスケーラビリティおよび品質において重要な課題は、内部ループの最適化を微分可能にする必要性にある。DARTSにおけるいくつかの致命的な要因については多くの議論がなされてきたが、アーキテクチャ勾配(すなわちハイパーグラディエント)については相対的に注目が薄い。本論文では、陰関数定理に基づいてDARTSにおけるハイパーグラディエントの計算を扱い、内部ループ最適化の解にのみ依存し、最適化経路に依存しない手法を提案する。さらに計算負荷を低減するために、微分可能なNAS向けの確率的ハイパーグラディエント近似を定式化し、理論的に本手法(iDARTSと命名)を用いたアーキテクチャ最適化が静止点に収束することが期待されることを示す。2つのNASベンチマーク探索空間および一般的なNAS探索空間における包括的な実験により、本手法の有効性を検証した。その結果、ベースライン手法で学習されたアーキテクチャを大幅に上回る性能を達成した。