BaLeNAS：ベイズ学習則を用いた微分可能アーキテクチャサーチ

近年、微分可能なアーキテクチャ探索（Differentiable Architecture Search: DARTS）は、重み共有と連続的緩和を用いて計算コストを顕著に削減できる点から、広範な注目を集めている。しかし、最近の研究では、従来の微分可能なNAS手法が単純なベースラインを上回ることに困難を示し、探索が進むにつれて性能が劣化するアーキテクチャが得られることも明らかになっている。本稿では、アーキテクチャパラメータを直接最適化するのではなく、アーキテクチャ重みをガウス分布に緩和することで、ニューラルアーキテクチャ探索を分布学習の問題として定式化する。このアプローチにより、既存のコードベースをそのまま活用しつつ、追加のメモリや計算コストを増加させることなく、自然勾配変分推論（Natural-Gradient Variational Inference: NGVI）を用いてアーキテクチャ分布を効率的に最適化できる。本研究は、ベイズ的原理が微分可能なNASにどのように貢献するかを示し、探索の幅を広げ、安定性を向上させることの有効性を実証する。NAS-Bench-201およびNAS-Bench-1shot1というベンチマークデータセットにおける実験結果から、提案手法が顕著な性能向上をもたらすことが確認された。さらに、学習済みパラメータに対して単純にargmaxを適用するのではなく、最近提案されたトレーニングフリーな代理指標（training-free proxies）を活用し、最適化された分布から複数のアーキテクチャをサンプリングしてその中から最適なものを選定するアプローチを採用した。これにより、NAS-Bench-201およびNAS-Bench-1shot1の両ベンチマークで最先端の性能を達成した。また、DARTSの探索空間内で得られた最良のアーキテクチャは、CIFAR-10、CIFAR-100、ImageNetの各データセットにおいて、それぞれ2.37%、15.72%、24.2%という競争力のあるテスト誤差を達成した。