17日前

ワンショットニューラルアーキテクチャサーチ:自己評価型テンプレートネットワークを用いた手法

Xuanyi Dong, Yi Yang
ワンショットニューラルアーキテクチャサーチ:自己評価型テンプレートネットワークを用いた手法
要約

ニューラルアーキテクチャサーチ(NAS)は、手動によるアーキテクチャ設計に代わって、アーキテクチャ探索プロセスを自動化することを目的としています。近年のNAS手法は、探索を数日以内に完了できるようになっていますが、特定のアーキテクチャ候補に対して正確な評価を行うためには依然として長時間のトレーニングが必要です。これに対し、最近提案されたワンショットNAS手法は、候補間でパラメータを共有することで、煩雑なトレーニングプロセスを大幅に短縮しています。このアプローチでは、各候補のパラメータを再トレーニングせずに、共有されたパラメータから直接抽出できるため、計算コストを削減できます。しかし、評価が行われるまでどの候補が優れた性能を発揮するかの予測ができないため、評価対象の候補はランダムにサンプリングされ、その中でトップ1の候補が最良とされるという問題があります。本論文では、評価対象となるアーキテクチャ候補の品質を向上させるため、自己評価型テンプレートネットワーク(Self-Evaluated Template Network, SETN)を提案します。これにより、競争力のある候補をより確実にカバーできるようになります。SETNは以下の2つの構成要素から構成されています。(1)評価器(evaluator):各個別アーキテクチャが低い検証損失を達成する可能性を示す確率を学習するモジュール。この評価器を用いることで、評価対象の候補を、性能の高いものに偏って選択的にサンプリングすることが可能になります。(2)テンプレートネットワーク:すべての候補間でパラメータを共有することで、生成された候補のトレーニングコストを平均化(amortize)する仕組みです。実験の結果、SETNによって発見されたアーキテクチャは、CIFARおよびImageNetのベンチマークにおいて、比較可能な計算コストの範囲内で最先端の性能を達成しました。コードはGitHub上で公開されています:https://github.com/D-X-Y/AutoDL-Projects。

ワンショットニューラルアーキテクチャサーチ:自己評価型テンプレートネットワークを用いた手法 | 最新論文 | HyperAI超神経