ベイジアン最適化と最適輸送を用いたニューラルアーキテクチャサーチ

ベイジアン最適化（BO）は、関数$f$が点評価を通じてのみアクセス可能である場合のグローバルな最適化手法のクラスを指します。これは通常、$f$の評価が高コストであるような状況で使用されます。機械学習におけるBOの一般的な用途はモデル選択であり、統計モデルの汎化性能を解析的にモデル化できない場合に、ノイジーで高コストな訓練と検証手順に頼って最良のモデルを選択します。従来のBO手法はユークリッド空間とカテゴリカル空間に焦点を当てており、これにより機械学習アルゴリズムのスカラー超パラメータのみを調整可能でした。しかし、深層学習への関心の高まりとともに、ニューラルネットワークの\emph{アーキテクチャ}を調整する需要が増加しています。本研究では、ニューラルアーキテクチャサーチ用のガウス過程ベースのBOフレームワークNASBOTを開発しました。これを達成するために、ニューラルネットワークアーキテクチャ空間での距離尺度を開発し、最適輸送プログラムを通じて効率的に計算できるようにしました。この距離尺度はBO以外でも応用が見込まれるため、深層学習コミュニティにとって独立した興味深いトピックとなる可能性があります。我々は実験結果から、NASBOTが多層パーセプトロンや畳み込みニューラルネットワークにおけるクロスバリデーションに基づくモデル選択タスクにおいて他の代替手法よりも優れていることを示しました。