7 天前

通过压缩注意力匹配实现通用域适应

Didi Zhu, Yincuan Li, Junkun Yuan, Zexi Li, Kun Kuang, Chao Wu
通过压缩注意力匹配实现通用域适应
摘要

通用域适应(Universal Domain Adaptation, UniDA)旨在将源域知识迁移到目标域,而无需事先知晓目标域的类别集合。其核心挑战在于如何判断目标样本是否属于共现类别。现有主流方法通常基于样本特征进行判断,过度依赖全局信息,忽视了图像中最为关键的局部对象信息,导致分类精度受限。为解决这一问题,本文提出一种基于视觉Transformer自注意力机制的通用注意力匹配框架(Universal Attention Matching, UniAM),以有效捕捉图像中的关键对象信息。该框架引入一种新颖的压缩注意力匹配(Compressive Attention Matching, CAM)方法,通过压缩方式表征注意力,深入挖掘数据的核心语义信息。此外,CAM进一步结合基于残差的度量机制,用于判断样本的共现性。借助该度量机制,UniAM实现了域级与类别级的共现特征对齐(Common Feature Alignment, CFA)以及目标类别分离(Target Class Separation, TCS)。值得注意的是,UniAM是首个直接利用视觉Transformer中的注意力机制完成分类任务的方法。大量实验结果表明,该方法在多个基准数据集上均显著优于当前最先进的技术。

通过压缩注意力匹配实现通用域适应 | 最新论文 | HyperAI超神经