要約
物体認識の実際の応用では、しばしば単一のプラットフォームで複数のタスクを解決する必要がある。ネットワークの微調整という標準的なパラダイムでは、各タスクに対して全新的なCNN（畳み込みニューラルネットワーク）が学習され、最終的なネットワークサイズはタスクの複雑さに無関係である。これは浪費的であり、単純なタスクにはより小さなネットワークが必要である一方、複雑なタスクには大きなネットワークが必要であるため、同時に解決できるタスクの数が制限される。これらの問題に対処するために、私たちは転移学習手順であるNetTailorを提案する。この手法では、事前学習されたCNNの層を汎用ブロックとして使用し、小さなタスク固有の層と組み合わせて新しいネットワークを生成する。新しいネットワークは分類誤差を最小化するだけでなく、強力な制約なしCNNの中間活性化を模倣し、1) ブロックに対するソフトアテンション機構と 2) 複雑さ正則化制約の組み合わせによってその複雑さを最小化することも訓練される。これにより、NetTailorはネットワークアーキテクチャ自体をターゲットタスクに適応させることができ、単に重みだけではなくアーキテクチャ全体を最適化することができる。実験結果によると、文字や交通標識認識などの単純なタスクに適応したネットワークは、細かい認識などの難しいタスクに適応したネットワークよりも著しく小さくなることが示されている。さらに重要なのは、この手続きがモジュール型であることから、ネットワークの複雑さが減少しても各タスク間でのパラメータ共有や分類精度が損なわれることなく達成できることである。