PADCLIP：基于自适应去偏的伪标签CLIP方法在无监督域自适应中的应用

传统的无监督域自适应（Unsupervised Domain Adaptation, UDA）方法利用带有标签的源域数据来解决无标签目标域上的学习任务。然而，当源域与目标域之间存在较大域差异时，该方法的性能会显著下降。一种更实际的解决方案是借助大规模预训练模型来缩小域间差距。例如，CLIP模型展现出优异的零样本泛化能力，能够有效弥合域间差异。然而，在对CLIP进行传统微调以适配目标域时，模型容易出现灾难性遗忘问题：新域知识迅速覆盖其原有的预训练知识，导致性能下降近一半。为此，我们提出了灾难性遗忘度量（Catastrophic Forgetting Measurement, CFM），通过动态调整学习率来控制训练强度，从而避免过度训练，缓解灾难性遗忘问题。在此基础上，我们利用CLIP的零样本预测能力，结合我们提出的动量机制与CFM，构建了一种具有自适应去偏能力的伪标签方法——PADCLIP（Pseudo-labeling with Adaptive Debiasing in CLIP）。该方法实现了源域与目标域的端到端联合训练，无需额外计算开销。在四个公开数据集上的实验表明，PADCLIP取得了最佳性能，在DomainNet数据集上更是实现了高达18.5%的准确率提升。