CDTrans：非教師付きドメイン適応のためのクロスドメイン変換器

教師なしドメイン適応（Unsupervised Domain Adaptation: UDA）は、ラベル付きのソースドメインで学習された知識を、異なるラベルなしのターゲットドメインに転移することを目的としている。既存の多数のUDA手法は、畳み込みニューラルネットワーク（CNN）をベースとしたフレームワークを用いて、ドメインレベルまたはカテゴリレベルの不変特徴表現を学習することに焦点を当てている。しかし、カテゴリレベルに基づくUDAにおける根本的な課題の一つは、ターゲットドメインのサンプルに対して生成される擬似ラベルのノイズ性である。これらの擬似ラベルはしばしば精度の低いものとなり、正確なドメイン間アライメントを阻害し、結果としてUDA性能に悪影響を及ぼすことが避けがたい。近年、Transformerの多様なタスクにおける成功を受けて、本研究ではTransformerにおけるクロスアテンションがノイズの多い入力ペアに対しても堅牢であることに着目し、挑戦的なUDAタスクにTransformerを採用した。具体的には、高精度な入力ペアを生成するため、双方向の中心に注目したラベル付けアルゴリズムを設計し、ターゲットサンプルに対して擬似ラベルを生成した。この擬似ラベルを基に、重み共有の三本のブランチを持つTransformerフレームワークを提案する。このフレームワークは、ソース・ターゲット特徴の学習に自己アテンション（self-attention）を、ソース・ターゲットドメイン間のアライメントにクロスアテンション（cross-attention）をそれぞれ適用することで、明示的に判別性のあるドメイン固有表現とドメイン不変表現を同時に学習することを促進する。本手法は「CDTrans（cross-domain transformer）」と命名され、純粋なTransformerアーキテクチャによるUDAタスクへの初の試みの一つである。実験の結果、VisDA-2017やDomainNetといった公開UDAデータセットにおいて、本手法が優れた性能を達成することが示された。コードおよびモデルは、https://github.com/CDTrans/CDTrans にて公開されている。