単一パス一発のニューラルアーキテクチャサーチにおける一様サンプリング

私たちは一発学習型ニューラルアーキテクチャサーチ（One-Shot Neural Architecture Search: NAS）のパラダイムを見直し、既存のNAS手法に対するその優位性を分析します。しかし、既存の一発学習型手法は訓練が難しく、ImageNetのような大規模データセットではまだ十分な効果を発揮していません。本研究では、この訓練上の課題に対処するため、Single Path One-Shotモデルを提案します。私たちの中心的なアイデアは、すべてのアーキテクチャが単一パスとなるように簡素化されたスーパーネットワークを構築することで、重みの共適応問題を軽減することです。訓練は均一なパスサンプリングによって行われます。すべてのアーキテクチャとその重みが完全かつ均等に訓練されます。包括的な実験により、当方針が柔軟で効果的であることが確認されました。訓練が容易であり、探索も高速です。複雑な探索空間（例えば、ビルディングブロック、チャンネル数、混合精度量子化など）や異なる探索制約条件（例えば、FLOPs, レイテンシなど）を容易にサポートできます。したがって、さまざまな用途に便利に使用できます。大規模データセットImageNetにおいて最先端の性能を達成しています。