HyperAIHyperAI

Command Palette

Search for a command to run...

ベイジアン最適化と最適輸送を用いたニューラルアーキテクチャサーチ

Kirthevasan Kandasamy Willie Neiswanger Jeff Schneider Barnabás Póczos Eric P Xing

概要

ベイジアン最適化(BO)は、関数fffが点評価を通じてのみアクセス可能である場合のグローバルな最適化手法のクラスを指します。これは通常、fffの評価が高コストであるような状況で使用されます。機械学習におけるBOの一般的な用途はモデル選択であり、統計モデルの汎化性能を解析的にモデル化できない場合に、ノイジーで高コストな訓練と検証手順に頼って最良のモデルを選択します。従来のBO手法はユークリッド空間とカテゴリカル空間に焦点を当てており、これにより機械学習アルゴリズムのスカラー超パラメータのみを調整可能でした。しかし、深層学習への関心の高まりとともに、ニューラルネットワークの\emph{アーキテクチャ}を調整する需要が増加しています。本研究では、ニューラルアーキテクチャサーチ用のガウス過程ベースのBOフレームワークNASBOTを開発しました。これを達成するために、ニューラルネットワークアーキテクチャ空間での距離尺度を開発し、最適輸送プログラムを通じて効率的に計算できるようにしました。この距離尺度はBO以外でも応用が見込まれるため、深層学習コミュニティにとって独立した興味深いトピックとなる可能性があります。我々は実験結果から、NASBOTが多層パーセプトロンや畳み込みニューラルネットワークにおけるクロスバリデーションに基づくモデル選択タスクにおいて他の代替手法よりも優れていることを示しました。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています