AlphaX: 深層ニューラルネットワークとモンテカルロ木探索を用いたニューラルアーキテクチャの探求

ニューラルアーキテクチャサーチ（NAS）は、ニューラルネットワークの設計を自動化する上で大きな成功を収めていますが、現在のNAS手法に伴う膨大な計算量は、より短時間でより良い結果を得るためにはサンプル効率とネットワーク評価コストの改善が必要であることを示しています。本論文では、これらの2つの側面に対処するために、新しいスケーラブルなモンテカルロ木探索（MCTS）に基づくNASエージェントであるAlphaXを提案します。AlphaXは、状態レベルでの探査と活用のバランスを適応的に調整することにより、検索効率を向上させます。また、メタディープニューラルネットワーク（DNN）を使用してネットワーク精度を予測し、有望な領域への探索をバイアスすることで効果的に検索を行います。ネットワーク評価コストの軽減のために、AlphaXは分散設計によるMCTS展開の高速化と、MCTSの木構造によって導かれる転移学習により評価に必要なエポック数を削減します。12 GPU日間と1000サンプルで、AlphaXはCIFAR-10で97.84％のトップ-1精度とImageNetで75.5％のトップ-1精度に達するアーキテクチャを見つけ出し、両方において最新のNAS手法を超える精度とサンプリング効率を達成しました。特に、大規模なNASデータセットであるNASBench-101でもAlphaXの性能を評価した結果、ランダムサーチや正則化進化よりも3倍および2.8倍高いサンプル効率でグローバル最適解を見つけることができました。最後に、検索されたアーキテクチャがニューラルスタイル転送から画像キャプショニングや物体検出まで様々な視覚アプリケーションにおける性能向上に寄与することを示しています。