15日前

SGAS:逐次的貪欲アーキテクチャ探索

Guohao Li, Guocheng Qian, Itzel C. Delgadillo, Matthias Müller, Ali Thabet, Bernard Ghanem
SGAS:逐次的貪欲アーキテクチャ探索
要約

アーキテクチャ設計は、成功した深層学習のための重要な要素となってきている。近年の自動ニューラルアーキテクチャ探索(NAS)の進展は、大きな可能性を示している。しかし、発見されたアーキテクチャは最終評価において一般化しにくい場合が多く、探索フェーズでの検証精度が高いものほど評価時に劣るという問題がよく見られる。この一般的な課題を軽減するために、我々は効率的なニューラルアーキテクチャ探索手法として、逐次的グリーディアーキテクチャ探索(SGAS: Sequential Greedy Architecture Search)を提案する。SGASは探索プロセスを部分問題に分割し、候補となる演算をグリーディに選択・削除することで、効率的な探索を実現する。本手法は、畳み込みニューラルネットワーク(CNN)およびグラフ畳み込みネットワーク(GCN)のアーキテクチャ探索に適用可能である。広範な実験の結果、SGASは画像分類、点群分類、タンパク質間相互作用ネットワークにおけるノード分類といったタスクにおいて、極めて低い計算コストで最先端のアーキテクチャを発見可能であることが明らかになった。SGASの詳細については、https://www.deepgcns.org/auto/sgas をご参照ください。

SGAS:逐次的貪欲アーキテクチャ探索 | 最新論文 | HyperAI超神経