
ニューラルアーキテクチャサーチ(NAS)は、効果的なニューラルネットワークのアーキテクチャを自動的に設計することで大きな影響を与えています。しかし、従来のNASアルゴリズム(例:$10^4$ GPU時間)の計算量が非常に大きく、大規模なタスク(例:ImageNet)に対して直接アーキテクチャを検索することが困難となっています。微分可能なNASは、ネットワークアーキテクチャの連続表現を使用することでGPU時間のコストを削減できますが、候補セットのサイズに線形比例してGPUメモリ消費量が高くなるという問題があります。その結果、より小さなデータセットでの学習や一部のブロックのみで学習する、または数エポックだけ訓練するなどのプロキシタスクを利用せざるを得ません。これらのプロキシタスク上で最適化されたアーキテクチャは、必ずしも目標タスク上で最適であるとは保証されません。本論文では、大規模な目標タスクと目標ハードウェアプラットフォームに対して直接的に学習できる\emph{ProxylessNAS}を提案します。私たちは微分可能なNASの高いメモリ消費量の問題に対処し、通常の訓練と同じレベルまで計算コスト(GPU時間とGPUメモリ)を削減しながら、依然として大きな候補セットを使用可能にしました。CIFAR-10とImageNetでの実験により、直接性と専門化の有効性が示されています。CIFAR-10において、私たちのモデルは5.7Mパラメータで2.08%のテスト誤差を達成しており、以前の最先端アーキテクチャであるAmoebaNet-Bよりも優れています。また、6倍少ないパラメータを使用しています。ImageNetにおいては、私たちのモデルはMobileNetV2よりも3.1%高いトップ-1精度を達成しており、測定したGPUレイテンシーでは1.2倍高速です。さらに、ProxylessNASをハードウェア指標(例:レイテンシー)に基づいてハードウェアに特化したニューラルアーキテクチャ設計に適用し、効率的なCNNアーキテクチャ設計に関する洞察を提供します。