摘要
无监督域自适应（Unsupervised Domain Adaptation, UDA）旨在利用已标注源域中学习到的知识，提升模型在未标注目标域上的性能。尽管卷积神经网络（Convolutional Neural Networks, CNNs）在以往的UDA方法中占据主导地位，但近期研究表明，视觉Transformer（Vision Transformers, ViTs）在该任务中展现出巨大潜力。本文提出一种新型的特征融合可迁移性感知Transformer（Feature Fusion Transferability Aware Transformer, FFTAT），以提升ViT在UDA任务中的表现。本方法包含两项关键创新：其一，引入局部块判别器（patch discriminator），用于评估图像块的可迁移性，生成可迁移性矩阵，并将其融入自注意力机制中，引导模型聚焦于具有高可迁移性的图像块；其二，提出一种潜在空间中的特征融合技术，实现对嵌入向量的跨通道信息融合，使每个嵌入向量能够整合其他所有嵌入的信息，从而增强模型的泛化能力。上述两个模块协同作用，显著提升特征表示的学习效果。在多个广泛使用的基准数据集上的大量实验表明，所提方法显著提升了UDA性能，达到了当前最优（State-of-the-Art, SOTA）水平。