HyperAIHyperAI

Command Palette

Search for a command to run...

パラメータ共有を用いた効率的なニューラルアーキテクチャサーチ

Hieu Pham Melody Y. Guan Barret Zoph Quoc V. Le Jeff Dean

概要

効率的なニューラルアーキテクチャサーチ(Efficient Neural Architecture Search, ENAS)を提案します。これは自動モデル設計のための高速かつ低コストな手法です。ENASでは、コントローラが大規模な計算グラフ内から最適な部分グラフを見つけ出すことでニューラルネットワークのアーキテクチャを学習的に発見します。コントローラは方策勾配法で訓練され、検証セットでの期待報酬を最大化する部分グラフを選択します。一方、選択された部分グラフに対応するモデルは標準的なクロスエントロピー損失を最小化するために訓練されます。子モデル間でのパラメータ共有により、ENASは高速です:既存のすべての自動モデル設計手法よりも大幅に少ないGPU時間で強力な実験的性能を達成し、特に従来のニューラルアーキテクチャサーチと比較して1000倍安価です。Penn Treebankデータセットにおいて、ENASは新しいアーキテクチャを見出し、テストパープレキシティ55.8を達成しました。これにより、ポストトレーニング処理なしでこれまでの方法の中で最良の結果を更新しています。CIFAR-10データセットにおいても、ENASは新しいアーキテクチャを見出し、テスト誤差率2.89%を達成しました。これはNASNet(Zophら, 2018年)のテスト誤差率2.65%と同等の性能です。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
パラメータ共有を用いた効率的なニューラルアーキテクチャサーチ | 記事 | HyperAI超神経