HyperAIHyperAI

Command Palette

Search for a command to run...

4GPU時間でロバストなニューラルアーキテクチャを探索する

Xuanyi Dong Yi Yang

概要

従来のニューラルアーキテクチャ探索(NAS)手法は、強化学習や進化的戦略に基づくものが多く、CIFAR-10上で良好なモデルを見つけるために3000 GPU時間以上を要する。本研究では、勾配降下法を用いた探索学習に基づく効率的なNASアプローチを提案する。本手法は、探索空間を有向非巡回グラフ(DAG)として表現する。このDAGには数十億もの部分グラフが含まれており、それぞれが一種のニューラルアーキテクチャを表す。すべての部分グラフの組み合わせを探索するのを避けるために、DAG上での微分可能サンプラーを提案する。このサンプラーは学習可能であり、サンプリングされたアーキテクチャを訓練した後の検証損失に基づいて最適化される。これにより、本手法は勾配降下法を用いてエンド・ツー・エンドに学習可能となり、微分可能なアーキテクチャサンプラーを用いた勾配ベース探索(GDAS)と命名する。実験において、CIFAR-10上で1回の探索プロセスを4 GPU時間で完了でき、発見されたモデルはパラメータ数わずか250万でテスト誤差2.82%を達成し、最先端の性能と同等である。コードはGitHub上で公開されている:https://github.com/D-X-Y/NAS-Projects


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています