4ヶ月前

ランダム接続ニューラルネットワークを用いた画像認識の探索

Saining Xie; Alexander Kirillov; Ross Girshick; Kaiming He
ランダム接続ニューラルネットワークを用いた画像認識の探索
要約

画像認識のためのニューラルネットワークは、単純な連鎖型モデルから複数の接続パスを持つ構造へと、広範な手動設計を通じて進化してきました。ResNetsやDenseNetsの成功は、主にその革新的な接続計画によるものです。現在、ニューラルアーキテクチャサーチ(NAS)の研究では、接続と演算タイプの同時最適化が探られていますが、可能性のある接続空間は制約され、依然として手動設計によって導かれています。本論文では、ランダムに配線されたニューラルネットワークの観点からより多様な接続パターンを探索します。まず、ネットワーク生成プロセス全体をカプセル化する確率的ネットワークジェネレータという概念を定義します。このカプセル化により、NASとランダムに配線されたネットワークの一貫した視点が提供されます。次に、3つの古典的なランダムグラフモデルを使用して、ネットワーク用のランダムに配線されたグラフを生成します。結果は驚くべきものでした:これらのランダムジェネレータのいくつかのバリエントは、ImageNetベンチマークで競争力のある精度を持つネットワークインスタンスを生成しました。これらの結果は、新しい取り組みがより制約の少ない探索空間で新規設計の余地があることを示唆しており、より優れたネットワークジェネレータを設計することで新たな突破口が開ける可能性があることを示しています。