ニューラルアーキテクチャ転移

ニューラルアーキテクチャ探索（Neural Architecture Search: NAS）は、タスク固有のニューラルネットワークを自動的に設計する有望なアプローチとして注目されている。従来のNAS手法は、ハードウェア仕様や最適化目標の毎に別々に完全な探索を実行する必要があるため、応用シーンの数が膨大であることを考えると、計算上現実的ではない。本論文では、この制約を克服するため、ニューラルアーキテクチャ転移（Neural Architecture Transfer: NAT）を提案する。NATは、複数の対立する目的において競争力を持つタスク固有のカスタムモデルを効率的に生成することを目的として設計されている。この目的を達成するため、追加の訓練なしに特化したサブネットをサンプリング可能なタスク固有のスーパーネットを学習する。本手法の鍵となるのは、オンライン転移学習と多目的進化的探索を統合したプロセスである。事前に学習されたスーパーネットを、タスク固有のサブネットの探索と同時に逐次適応することで、効率的な探索を実現する。我々は、大規模な多クラスから小規模な細分化データセットまでを含む11のベンチマーク画像分類タスクにおいて、NATの有効性を実証した。すべてのケースにおいて、特にImageNetを含むモバイル環境（≤600M Multiply-Adds）下で、NATNetsは既存の最先端手法を上回る性能を達成した。驚くべきことに、小規模な細分化データセットではNATの恩恵が最も顕著であった。同時に、アーキテクチャ探索と転移の効率性は、従来のNAS手法と比べて桁違いに優れている。全体として、実験評価から、多様な画像分類タスクおよび計算リソースの制約下において、NATは従来の転移学習（標準データセット上で学習されたネットワークアーキテクチャの重みを微調整する手法）よりもはるかに効果的な代替手段であることが示された。コードは https://github.com/human-analysis/neural-architecture-transfer で公開されている。