Zen-NAS：高性能ディープ画像認識のためのゼロショットNAS

精度予測器は、ニューラルアーキテクチャ探索（NAS）においてアーキテクチャの順位付けに核心的な役割を果たす。高品質な精度予測器を構築するには、膨大な計算資源が必要となることが一般的である。本研究では、精度予測器の使用を避け、新たなゼロショット指標「Zen-Score」を提案し、アーキテクチャの順位付けを実現する。Zen-Scoreはネットワークの表現力（network expressivity）を表しており、モデルの精度と正の相関関係を持つ。Zen-Scoreの計算は、ランダムに初期化されたネットワークを数回のフォワード推論（forward inference）を行うだけで実現可能であり、ネットワークパラメータの学習は不要である。このZen-Scoreを基盤とし、制約された推論予算下でターゲットネットワークのZen-Scoreを最大化するというアプローチに基づき、新たなNASアルゴリズム「Zen-NAS」を提案する。Zen-NASは、半日程度のGPU計算時間（less than half GPU day）で、データフリーなスタイルで高性能なアーキテクチャを直接探索可能である。従来のNAS手法と比較して、複数のサーバーサイドおよびモバイルサイドGPUプラットフォームにおいて、Zen-NASは数倍から数桁の高速化を達成しつつ、ImageNetにおいて最先端の精度を実現している。本研究のソースコードおよび事前学習済みモデルは、https://github.com/idstcv/ZenNAS にて公開されている。