HyperAIHyperAI

Command Palette

Search for a command to run...

モンテカルロ木探索におけるアクション空間学習を用いたサンプル効率的なニューラルアーキテクチャ探索

Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang

概要

ニューラルアーキテクチャ探索(Neural Architecture Search: NAS)は、自動的なニューラルネットワーク設計を実現する有望な技術として注目されている。しかし、従来のMCTS(モンテカルロ木探索)に基づくNAS手法は、しばしば手動で設計されたアクション空間を用いている。このアクション空間は、最適化対象の性能指標(例えば、精度)と直接的な関係を持たないため、アーキテクチャの探索がサンプル効率が極めて低いという課題を抱えている。本稿では、この問題を解決するため、潜在的アクションを学習することで、探索空間を性能指標が類似する「良い領域」と「悪い領域」に再帰的に分割する「潜在的アクションニューラルアーキテクチャ探索(Latent Action Neural Architecture Search: LaNAS)」を提案する。探索フェーズでは、異なるアクションシーケンスが異なる性能を持つ領域を生成するため、良い領域に偏る探索戦略を採用することで、探索効率を大幅に向上できる。3つのNASタスクにおける実証実験の結果、LaNASは進化的アルゴリズム、ベイズ最適化、ランダムサーチを含むベースライン手法と比較して、少なくとも1桁以上サンプル効率が優れていることが示された。実用的応用においても、ワンショット版および通常版のLaNASは、既存手法を一貫して上回る性能を達成した。特に、CIFAR-10では99.0%の精度、ImageNetでは600 MFLOPSで80.8%のTop-1精度を800サンプルで達成し、AmoebaNetと比較して33倍少ないサンプル数で顕著に優れた結果を示した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
モンテカルロ木探索におけるアクション空間学習を用いたサンプル効率的なニューラルアーキテクチャ探索 | 記事 | HyperAI超神経