HyperAIHyperAI

Command Palette

Search for a command to run...

Console
4ヶ月前

モンテカルロ木探索におけるアクション空間学習を用いたサンプル効率的なニューラルアーキテクチャ探索

{Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang}

モンテカルロ木探索におけるアクション空間学習を用いたサンプル効率的なニューラルアーキテクチャ探索

要約

ニューラルアーキテクチャ探索(Neural Architecture Search: NAS)は、自動的なニューラルネットワーク設計を実現する有望な技術として注目されている。しかし、従来のMCTS(モンテカルロ木探索)に基づくNAS手法は、しばしば手動で設計されたアクション空間を用いている。このアクション空間は、最適化対象の性能指標(例えば、精度)と直接的な関係を持たないため、アーキテクチャの探索がサンプル効率が極めて低いという課題を抱えている。本稿では、この問題を解決するため、潜在的アクションを学習することで、探索空間を性能指標が類似する「良い領域」と「悪い領域」に再帰的に分割する「潜在的アクションニューラルアーキテクチャ探索(Latent Action Neural Architecture Search: LaNAS)」を提案する。探索フェーズでは、異なるアクションシーケンスが異なる性能を持つ領域を生成するため、良い領域に偏る探索戦略を採用することで、探索効率を大幅に向上できる。3つのNASタスクにおける実証実験の結果、LaNASは進化的アルゴリズム、ベイズ最適化、ランダムサーチを含むベースライン手法と比較して、少なくとも1桁以上サンプル効率が優れていることが示された。実用的応用においても、ワンショット版および通常版のLaNASは、既存手法を一貫して上回る性能を達成した。特に、CIFAR-10では99.0%の精度、ImageNetでは600 MFLOPSで80.8%のTop-1精度を800サンプルで達成し、AmoebaNetと比較して33倍少ないサンプル数で顕著に優れた結果を示した。

コードリポジトリ

ベンチマーク

ベンチマーク方法論指標
image-classification-on-cifar-10LaNet
Percentage correct: 99.03

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
モンテカルロ木探索におけるアクション空間学習を用いたサンプル効率的なニューラルアーキテクチャ探索 | 論文 | HyperAI超神経