17日前

活性化関数およびスキップ接続探索におけるNASの一般化特性

Zhenyu Zhu, Fanghui Liu, Grigorios G Chrysos, Volkan Cevher
活性化関数およびスキップ接続探索におけるNASの一般化特性
要約

ニューラルアーキテクチャサーチ(NAS)は、最先端のニューラルアーキテクチャの自動発見を促進してきた。NASの進展にもかかわらず、これまでの研究ではNASに対する理論的保証にほとんど注目が向けられていない。本研究では、(深層)レイヤースキップ接続探索および活性化関数探索を統一的な枠組みで扱えるようにした設定のもと、NASの一般化特性を検討する。具体的には、混合活性化関数、全結合ネットワーク、およびリジッドネットワークを含む特定の探索空間を想定し、(無限)幅領域におけるニューラル接線カーネル(NTK)の最小固有値の下界(および上界)を導出する。この最小固有値を用いて、確率的勾配降下法(SGD)による訓練におけるNASの一般化誤差の境界を確立する。重要な点として、理論的および実験的に、導出した結果が訓練を伴わない状態でもトップパフォーマンスを発揮するアーキテクチャの選定を可能にすることを示す。これにより、本理論に基づく訓練不要なアルゴリズムの構築が可能となる。さらに、数値的検証を通じて、NASにおける計算効率の高い手法の設計に新たな知見が得られることを示している。本分析は、統一的枠組み下での多様なアーキテクチャおよび活性化関数の相互作用によって複雑化しており、非自明な性質を持つ。また、深層学習理論におけるNTKの最小固有値の下界を提供する点で、独自の学術的意義を有している。