要約
Differentiable ARchiTecture Search（DARTS）は、ネットワーク表現の連続的緩和を用いることで、GPU日単位でニューラルアーキテクチャ探索（NAS）をほぼ数千倍高速化する。しかし、DARTSの探索プロセスは不安定であり、訓練エポック数が増加するにつれて著しく性能が低下する問題を抱えており、その応用を制限している。本論文では、この性能低下の原因が、異なるノード間におけるノルムの不均衡および様々な演算から得られる出力の高相関性にあると主張する。そこで、この2つの問題に対処するため、DARTSの改良版であるiDARTSを提案する。学習段階では、ノード正規化を導入してノルムのバランスを維持する。離散化段階では、アーキテクチャパラメータの値ではなく、ノード出力と非相関化された演算との類似性に基づいて、連続的なアーキテクチャを近似する。CIFAR-10およびImageNetにおいて広範な評価を実施した結果、アーキテクチャ探索にそれぞれ0.2および1.9 GPU日を要した状態で、誤差率2.25%および24.7%を達成した。これにより、本手法の有効性が示された。さらに、追加の分析から、他のDARTSに基づく手法と比較して、iDARTSはロバスト性および一般化性能において優れていることが明らかになった。