非監督多重ターゲットドメイン適応における知識蒸留

非監督ドメイン適応（Unsupervised Domain Adaptation: UDA）は、ターゲットドメインからのラベルなしデータの分布と、ソースドメインからのラベル付きデータの分布間のドメインシフト問題を軽減することを目指しています。単一ターゲットのUDAシナリオは文献でよく研究されていますが、多ターゲットドメイン適応（Multi-Target Domain Adaptation: MTDA）はその実用的重要性にもかかわらず、例えばマルチカメラビデオ監視アプリケーションにおいても、まだ十分に探究されていません。MTDAの問題は、各ターゲットドメインごとに専門的なモデルを適応させることで解決できますが、この方法は多くの実際のアプリケーションではコストが高いです。複数のターゲットをブレンドしてMTDAを行う手法も提案されていますが、この解決策はモデルの特異性や精度が低下する可能性があります。本論文では、複数のターゲットドメインに対して良好な汎化性能を持つCNNを学習するための新しい非監督MTDAアプローチを提案します。私たちの多教師MTDA（Multi-Teacher MTDA: MT-MTDA）手法は、複数の教師から共通の学生へと特定のターゲットに対するUDAを行う方法を逐次的に蒸留する多教師知識蒸留（Knowledge Distillation: KD）に依存しています。KDプロセスは進行形態で行われ、学生は特定のターゲットに対するUDAを行う方法を各教師から学びます。これは直接ドメイン適応された特徴を学ぶこととは異なります。最後に、各教師からの知識を組み合わせる代わりに、MT-MTDAは知識蒸留を行う教師間で交互に切り替えます。これにより、学生が学習する際に各ターゲット（教師）固有の特性が保たれます。MT-MTDAはいくつかの挑戦的なUDAベンチマークに対して最先端手法と比較されましたが、経験的結果は提案したモデルが複数のターゲットドメインに対して著しく高い精度を提供できることを示しています。当方のコードは以下のURLから入手可能です：https://github.com/LIVIAETS/MT-MTDA