
要約
微分可能なアーキテクチャ探索(DARTS)は、現在、重み共有型のニューラルアーキテクチャ探索手法として広く普及している。しかし、避けがたいスキップ接続の集約によって、知られている性能の崩壊(performance collapse)という問題を抱えている。本論文では、その根本原因が排他的競争における不平等な優位性に起因することを初めて明らかにする。実験を通じて、2つの条件のいずれかが満たされない場合、性能の崩壊が発生しなくなることを示した。これに基づき、排他的競争を協調的競争へ緩和する新たなアプローチである「Fair DARTS」を提案する。具体的には、各演算のアーキテクチャ重みが互いに独立となるように設計する。しかし、離散化の不一致(discretization discrepancy)という重要な課題が残っている。そこで、アーキテクチャ重みが0または1に近づくように促すゼロ・ワン損失(zero-one loss)を導入し、期待されるマルチホット解の近似を実現する。本研究では、2つの主流な探索空間を対象に実験を実施し、CIFAR-10およびImageNetにおいて新たな最先端の成果を達成した。実装コードは、https://github.com/xiaomi-automl/fairdarts にて公開されている。