幾何学に配慮した勾配アルゴリズムによるニューラルアーキテクチャ探索

近年のニューラルアーキテクチャ探索（NAS）における最先端手法は、アーキテクチャと共有重みに関する連続最適化問題に緩和することで勾配に基づく最適化を活用している。しかし、このアプローチはノイズの多いプロセスであり、依然として十分に理解されていない。本研究では、重み共有を伴うNASの理解を深めるために、単一レベルの経験的リスク最小化の研究を提唱する。これにより、NAS手法の設計は、この問題に対して迅速に高品質な解を獲得できる最適化手法および正則化手法の設計に集約される。ミラー降下（mirror descent）理論を援用することで、最適化の背後にある幾何構造を活かした、構造に配慮したフレームワークを提示する。このフレームワークは、スパースなアーキテクチャパラメータを導くことができ、シンプルでありながら新規なアルゴリズムを実現する。これらのアルゴリズムは高速な収束保証を備え、コンピュータビジョン分野における最新のNASベンチマークにおいて、最先端の精度を達成している。特に、DARTS探索空間およびNAS-Bench201の両方において、CIFARおよびImageNetの既存の最高成績を上回った。特にNAS-Bench201では、CIFAR-10およびCIFAR-100において近似オラクル最適な性能を達成した。本研究の理論的考察と実験結果は、離散的なNAS探索空間の連続的緩和と最適化手法を一貫した枠組みで共同設計する、原理的なアプローチの有効性を示している。