ランダム特徴量を用いた微分可能アーキテクチャ探索

微分可能なアーキテクチャ探索（DARTS）は、高い探索効率と効果性により、NAS技術の発展を著しく推進してきたが、性能の崩壊（performance collapse）という課題を抱えている。本論文では、DARTSにおけるこの性能の崩壊問題を二つの観点から軽減する試みを行う。まず、DARTSにおけるスーパーネットの表現力について検討し、バッチ正規化（BatchNorm）の学習のみを保つ新しいDARTSパラダイムを導出する。次に、理論的にランダム特徴量がスーパーネット最適化におけるスキップ接続の補助的役割を希釈（dilute）し、探索アルゴリズムがより公平な演算選択に注目できるようにすることを明らかにした。この知見を基に、ランダム特徴量を導入したDARTSおよびPC-DARTSをそれぞれ実装し、RF-DARTSおよびRF-PC-DARTSと名付けた改良版を構築した。実験結果によれば、RF-DARTSはCIFAR-10で94.36%のテスト精度を達成し、NAS-Bench-201における最も近い最適結果に相当する。また、CIFAR-10から転移学習した場合、ImageNetでは24.0%の最新のトップ-1テスト誤差を達成した。さらに、RF-DARTSはCIFAR-10、CIFAR-100、SVHNの3つのデータセットおよびS1～S4の4つの探索空間において、安定した性能を示した。一方、RF-PC-DARTSはImageNetにおいてさらに優れた結果を達成し、トップ-1テスト誤差23.9%、トップ-5テスト誤差7.1%を記録。これは、単一パス型、訓練不要型、部分チャネル型などのImageNet上で直接探索された代表的な手法をも上回る結果である。