補助セルを用いたコンパクトなセマンティックセグメンテーションモデルの高速ニューラルアーキテクチャサーチ

特定のタスクに合わせたニューラルネットワークアーキテクチャの自動設計は、非常に有望でありながら、本質的に困難な研究領域である。この分野でのほとんどの成果は、画像分類や言語モデルの問題で得られているが、ここでは特に全ピクセル密度タスクに焦点を当て、完全畳み込みネットワークを使用した意味的な画像セグメンテーションに集中する。前述の分野と対照的に、完全畳み込みネットワークの設計選択肢にはいくつかの変更が必要となる。例えば、使用される操作（dilated convolutions）やより難しい最適化問題の解決などである。本研究では、限られたリソースを使用してリアルタイムで動作可能な高性能かつコンパクトなセグメンテーションアーキテクチャの探索に特に興味を持っている。これを達成するために、訓練時に補助セルを通じて中間監督信号を提供し、評価フェーズでは省略できるように意図的に過剰パラメータ化を行う。補助セルの設計は、強化学習を用いて訓練された固定構造を持つ制御器（controller）によって生成される。さらに重要な点として、限られた時間と計算資源内でこれらのアーキテクチャを効率的に探索する方法を示す。具体的には、非有望なアーキテクチャがさらなる訓練を受けないようにする進行戦略と、ポリャック平均化と知識蒸留を組み合わせて収束速度を向上させる手法に依存している。定量的には、8 GPU日間で当方の手法は意味的なセグメンテーション、姿勢推定および深度予測タスクにおいてコンパクトモデルの中で最先端レベルと同等の性能を持つ一連のアーキテクチャを見出すことができた。コードは以下のURLから入手可能となる予定である: https://github.com/drsleep/nas-segm-pytorch