摘要
视觉Transformer在众多视觉任务中展现出巨大潜力。然而，当测试阶段出现分布偏移（即存在分布外数据）时，其泛化能力往往显著下降。为缓解这一问题，本文提出一种新颖方法——语义感知消息广播（Semantic-aware Message Broadcasting, SAMB），以实现更丰富且灵活的无监督域自适应（Unsupervised Domain Adaptation, UDA）特征对齐。具体而言，我们深入研究了视觉Transformer中的注意力模块，发现仅依赖单一全局类别标记（class token）作为对齐空间时，其灵活性不足：该标记以相同方式与所有图像标记进行交互，却忽视了不同图像区域所蕴含的丰富语义信息。为此，本文旨在通过引入语义感知的自适应消息广播机制，提升对齐特征的表达能力。我们设计了一组可学习的分组标记（group tokens）作为消息传播的节点，用于聚合来自所有图像标记的全局信息，同时引导不同分组标记自适应地聚焦于向不同语义区域广播消息。这种机制促使各组标记能够学习到更具信息量且多样化的特征表示，从而实现更有效的域间对齐。此外，本文系统性地研究了基于对抗的特征对齐（Adversarial-based Feature Alignment, ADA）与基于伪标签的自训练（Pseudo-label-based Self-training, PST）在UDA中的作用。实验结果表明，仅采用一种简单且两阶段的训练策略，通过ADA与PST的协同配合，即可进一步提升视觉Transformer的域适应能力。在DomainNet、OfficeHome和VisDA-2017等多个基准数据集上的大量实验验证了所提方法在无监督域自适应任务中的有效性与优越性。