密接した探索空間によるより柔軟なニューラルアーキテクチャ検索

ニューラルアーキテクチャサーチ（NAS）は、ニューラルネットワーク設計の開発を劇的に進展させました。本稿では、これまでのNAS手法における探索空間設計を見直し、ブロックの数と幅が手動で設定されていることを確認しました。しかし、ブロックの数と幅はネットワークスケール（深さと幅）を決定し、精度とモデルコスト（FLOPs/レイテンシ）に大きな影響を与えます。そこで、本論文では密接に接続された探索空間を設計することで、ブロックの数と幅を探索することを提案します。これをDenseNASと呼びます。新しい探索空間は、我々が設計したルーティングブロックに基づく密接なスーパーネットワークとして表現されます。スーパーネットワークにおいて、ルーティングブロックは密接に接続されており、それらの間で最適なパスを探して最終的なアーキテクチャを導出します。さらに、探索中にモデルコストを近似するための連鎖的なコスト推定アルゴリズムを提案します。DenseNASでは精度とモデルコストの両方が最適化されます。MobileNetV2ベースの探索空間での実験では、DenseNASは単一のTITAN-XP上で361M FLOPsおよび17.9msのレイテンシでImageNetにおいて75.3%のトップ-1精度を達成しました。DenseNASによって検索されたより大規模なモデルは479M FLOPsで76.1%の精度を達成しています。また、DenseNASはResNet-18, -34, -50-BのImageNet分類精度をそれぞれ200M, 600M, 680M FLOPs削減により1.5%, 0.5%, 0.3%向上させています。関連コードはhttps://github.com/JaminFong/DenseNASで利用可能です。