β-DARTS：微分可能アーキテクチャ探索のためのベータ崩壊正則化

近年、深層ニューラルネットワークを自動的に設計できる能力を持つことから、ニューラルアーキテクチャ探索（Neural Architecture Search: NAS）はますます注目を集めている。その中でも、DARTSを代表とする微分型NASアプローチは、探索効率の高さから広く採用されている。しかし、これらの手法には、性能の急激な低下（performance collapse）に対する脆弱性と、探索されたアーキテクチャの一般化能力の低さという二つの主要な課題が存在する。これらの問題を解決するために、DARTSに基づくNASの探索プロセスを正則化するシンプルかつ効果的な手法「Beta-Decay」を提案する。具体的には、Beta-Decay正則化は、活性化されたアーキテクチャパラメータの値と分散が大きくなりすぎないよう制約を課す。さらに、この手法がどのように機能するのか、そしてなぜ機能するのかについて、詳細な理論的分析を提供する。NAS-Bench-201における実験結果から、本手法が探索プロセスの安定化を実現し、異なるデータセット間での転移性の高いネットワークを探索可能であることが示された。また、本手法はトレーニング時間やデータ量に依存しにくい優れた特性を示している。多様な探索空間およびデータセットを用いた包括的な実験により、提案手法の有効性が検証された。