HyperAIHyperAI

Command Palette

Search for a command to run...

単一パス一発のニューラルアーキテクチャサーチにおける一様サンプリング

Zichao Guo∗1, Xiangyu Zhang∗1, Haoyuan Mu1,2, Wen Heng1, Zechun Liu1,3, Yichen Wei1, Jian Sun1

概要

私たちは一発学習型ニューラルアーキテクチャサーチ(One-Shot Neural Architecture Search: NAS)のパラダイムを見直し、既存のNAS手法に対するその優位性を分析します。しかし、既存の一発学習型手法は訓練が難しく、ImageNetのような大規模データセットではまだ十分な効果を発揮していません。本研究では、この訓練上の課題に対処するため、Single Path One-Shotモデルを提案します。私たちの中心的なアイデアは、すべてのアーキテクチャが単一パスとなるように簡素化されたスーパーネットワークを構築することで、重みの共適応問題を軽減することです。訓練は均一なパスサンプリングによって行われます。すべてのアーキテクチャとその重みが完全かつ均等に訓練されます。包括的な実験により、当方針が柔軟で効果的であることが確認されました。訓練が容易であり、探索も高速です。複雑な探索空間(例えば、ビルディングブロック、チャンネル数、混合精度量子化など)や異なる探索制約条件(例えば、FLOPs, レイテンシなど)を容易にサポートできます。したがって、さまざまな用途に便利に使用できます。大規模データセットImageNetにおいて最先端の性能を達成しています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
単一パス一発のニューラルアーキテクチャサーチにおける一様サンプリング | 記事 | HyperAI超神経