17日前

IS-DARTS:候補の重要度に対する正確な測定によるDARTSの安定化

Hongyi He, Longjun Liu, Haonan Zhang, Nanning Zheng
IS-DARTS:候補の重要度に対する正確な測定によるDARTSの安定化
要約

現存するニューラルアーキテクチャ探索(NAS)手法の中で、DARTSはその効率性と簡潔さで知られている。この手法は、ネットワーク表現の連続的緩和を用いて重み共有のスーパーネットを構築し、数日程度のGPU時間で優れたサブネットを効率的に同定可能である。しかし、DARTSでは性能崩壊(performance collapse)が発生し、パラメータを一切持たない演算で構成された劣化したアーキテクチャが得られてしまう問題が残っており、ロバスト性の観点から大きな課題となっている。本研究では、理論的・実験的な分析を通じて、この問題の根本原因が探索空間における候補演算の重要度推定に偏りが生じていることに起因することを明らかにした。さらに、情報に基づく指標を用いて、より正確に演算を選択する手法を提案する。また、二段階最適化におけるスーパーネットへの過剰な注目とデータの非効率な利用が、最適でない結果をもたらしていることも示した。そこで、サブネットの性能に焦点を当てたより現実的な目的関数を採用し、情報に基づく指標を活用してその簡略化を図った。さらに、理論的にスーパーネットの幅を段階的に縮小することが最適重みの近似誤差を低減するために必要であることを説明した。本研究で提案する手法であるIS-DARTSは、DARTSの全体的な性能を大幅に向上させ、上述の課題を解決する。NAS-Bench-201およびDARTSに基づく探索空間における広範な実験により、IS-DARTSの有効性が実証された。

IS-DARTS:候補の重要度に対する正確な測定によるDARTSの安定化 | 最新論文 | HyperAI超神経