DSNAS：パラメータ再訓練を伴わない直接的ニューラルアーキテクチャ探索

もしNAS手法が解決策であるならば、その問題とは何か？ ほとんどの既存のNAS手法は、二段階のパラメータ最適化を必要とする。しかし、同一アーキテクチャにおいて二段階間の性能はほとんど相関していない。本研究では、この観察に基づき、NASの新たな問題定義、すなわち「タスク特有のエンドツーエンド型NAS」を提案する。我々は、あるコンピュータビジョンタスクに対してNAS手法が期待される場合、この定義により、曖昧に定義されたNASの評価を、i) そのタスクにおける精度、および ii) 満足できる精度を持つモデルを獲得するために要する総計算量の二つに明確に分けることができると主張する。多くの既存手法がこの問題を直接解決していないことに着目し、低バイアスなモンテカルロ推定を用いてアーキテクチャとパラメータを同時に最適化できる、効率的な微分可能なNASフレームワークDSNASを提案する。DSNASから導かれる子ネットワークは、パラメータの再学習を経ずに直接デプロイ可能である。二段階手法と比較して、DSNASはImageNet上で同等の精度（74.4%）を420 GPU時間で達成し、総処理時間を34%以上短縮した。本研究の実装は、https://github.com/SNAS-Series/SNAS-Series にて公開されている。