通过视觉域提示生成适应分布偏移

本文旨在通过在测试阶段利用少量无标签数据对模型进行自适应，以应对分布偏移问题。为解决从有限数据中提取领域知识所面临的挑战，关键在于有效利用预训练主干网络和源域之间的相关性信息。然而，以往研究未能充分利用具备强大分布外泛化能力的最新基础模型，且其方法中缺乏以领域为中心的设计思想。此外，这些方法将源域建模过程与自适应学习过程割裂为独立的训练阶段，难以实现协同优化。为此，本文提出一种基于基础模型预计算特征的新方法。具体而言，我们构建了一个知识库，用于学习来自源域的可迁移知识。在少量目标域数据的条件下，引入一个领域提示生成器，将知识库中的信息压缩为特定领域的提示（domain-specific prompt）。该提示通过一个引导模块，指导视觉特征向特定领域方向调整。同时，我们设计了一种领域感知的对比损失函数，并结合元学习策略，以进一步促进领域知识的有效提取。大量实验验证了所提方法在领域知识提取方面的有效性。在包括 WILDS 和 DomainNet 在内的五个大规模基准测试中，该方法均显著优于现有方法。