HyperAIHyperAI

Command Palette

Search for a command to run...

ニューラルアーキテクチャ探索における損失ランドスケープの探求

Colin White Sam Nolen Yash Savani

概要

近年、ニューラルアーキテクチャサーチ(NAS)に対する関心は急激に高まっている。多くのNASアルゴリズムは、繰り返しアーキテクチャを選定し、その性能を学習によって評価した後、これまでのすべての評価結果をもとに次のアーキテクチャを選定するという、アーキテクチャ空間内の探索プロセスを採用している。しかし、評価ステップにはノイズが含まれており、重みのランダム初期化の違いによって最終的な精度が変動する。これまでの研究では、このノイズに対処するための新しい探索アルゴリズムの開発に注力してきたが、アーキテクチャ評価におけるノイズの程度を定量化したり、その性質を理解するには至らなかった。本研究では、(1)最も単純な勾配上昇法(ヒルクライミング)がNASにおいて強力なベースラインとなり得ること、および(2)代表的なNASベンチマークデータセットにおけるノイズを最小限に抑えた場合、ヒルクライミングが多数の最先端アルゴリズムを上回ることを示す。さらに、ノイズが減少するにつれて局所最適解の数が著しく減少することを実証し、NASにおける局所探索の性能について理論的な特性を提示することで、この観察を裏付けている。本研究の知見を踏まえ、NASの研究においては、(1)局所探索をベースラインとして採用すること、および(2)可能な限り学習パイプラインのノイズ除去を行うことを提言する。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
ニューラルアーキテクチャ探索における損失ランドスケープの探求 | 記事 | HyperAI超神経