
事前学習済みの深層ニューラルネットワーク(DNN)をターゲットデータセットに微調整すること、すなわち転移学習は、コンピュータビジョンおよび自然言語処理(NLP)の分野で広く用いられている。タスク固有の層には主にカテゴリ情報が含まれており、データセットによってカテゴリが異なるため、実務上はタスク固有の層を削除し、下位層のみを微調整することで、事前学習モデルを部分的に転移する手法が採用される。しかし、事前学習モデル全体のパラメータの最大20%を占めるタスク固有のパラメータを単に削除することは、極めて非効率な損失である。本研究では、事前学習モデルを完全に転移するため、二段階のフレームワークであるCo-Tuningを提案する。第一段階では、事前学習モデルおよび補正済み予測から、ソースカテゴリとターゲットカテゴリの関係を学習する。第二段階では、ターゲットラベル(one-hotラベル)と、カテゴリ関係によって変換されたソースラベル(確率的ラベル)が協調的に微調整プロセスを監視する。このフレームワークのシンプルな実装は、4つの視覚分類タスクおよび1つのNLP分類タスクにおいて強力な実証的成果を示し、最大で20%の相対的な性能向上を達成した。最先端の微調整手法は、データが不足する状況における正則化の導入に主眼を置いているが、Co-Tuningは中規模データセット(クラスあたり100サンプル)だけでなく、大規模データセット(クラスあたり1000サンプル)においても有効であり、正則化に基づく手法が通常の微調整と差を生じないような環境でも、依然として優れた性能を発揮する。Co-Tuningは、事前学習データセットが十分に多様であるという一般的に妥当な仮定に依拠しているため、その応用範囲は広範であると期待できる。