要約
既存の訓練済みニューラルネットワークにおいて、新たな機能を学習しつつ、すでに学習した機能の性能を損なわないことがしばしば望まれます。既存のアプローチでは、非最適解を学習するか、共同訓練が必要となるか、または各追加ドメインごとにパラメータ数が大幅に増加します（通常は元のネットワークと同じ程度）。本稿では、新規に学習されるフィルタが既存のフィルタの線形結合であることを制約する方法である \emph{Deep Adaptation Networks} (DAN) を提案します。DAN は元のドメインでの性能を正確に保ちつつ、標準的な微調整手続きと比較してパラメータ数を大幅に削減（通常は13%、ネットワークアーキテクチャによって異なる）し、同等またはそれ以上の性能レベルに達するために必要な訓練サイクルも少ないです。標準的なネットワーク量子化技術と組み合わせることで、さらにパラメータコストを元の約3%まで削減でき、精度低下は軽微または全くありません。学習されたアーキテクチャは制御可能であり、様々な学習済み表現間で切り替えることができ、単一のネットワークで複数の異なるドメインからのタスクを解決することが可能です。我々は広範な実験を行い、画像分類タスクにおける当手法の有効性を示し、その動作特性についても検討しました。