DARTS-：指標なしでパフォーマンス崩壊からの強靭な脱出

微分可能なアーキテクチャ探索（DARTS）の急速な発展にもかかわらず、長年にわたる性能の不安定性という課題に直面しており、これがその応用を極めて制限している。既存のロバスト化手法は、性能の劣化という結果に着目する一方で、その原因要因を解明しようとはしていない。Hessian固有値をはじめとするさまざまな指標が、性能の崩壊が起こる前に探索を停止するためのシグナルとして提案されている。しかし、これらの指標に基づく手法は、しきい値が不適切に設定されると、優れたアーキテクチャを誤って除外してしまう傾向があり、さらに探索プロセス自体が本質的にノイズを含んでいるため、その問題は顕著である。本論文では、この崩壊現象をより洗練された、かつ直接的なアプローチで解決することを試みる。まず、スキップ接続が他の候補演算子に比べて明確な優位性を有することを実証する。すなわち、不利な状態から容易に回復し、優位な地位を確立できる点である。本研究では、この優位性が性能の劣化を引き起こしていると仮説を立て、それを補正するため、補助的なスキップ接続を導入することで、すべての演算子間の競争をより公平にする手法を提案する。このアプローチを「DARTS-」と命名する。さまざまなデータセットにおける広範な実験により、本手法が著しくロバスト性を向上させることを確認した。実装コードは、https://github.com/Meituan-AutoML/DARTS- にて公開されている。