原型跨域自监督学习用于少样本无监督域自适应

无监督域自适应（Unsupervised Domain Adaptation, UDA）旨在将一个完全标注的源域上的预测模型迁移到未标注的目标域。然而，在某些应用场景中，即使在源域收集标签也成本高昂，导致大多数现有方法难以实际应用。为应对这一挑战，近期研究采用了实例级跨域自监督学习，并辅以额外的微调阶段。但此类实例级自监督学习仅能学习并对齐低层次的判别性特征，难以捕捉高层语义结构。本文提出一种面向少样本无监督域自适应（Few-shot Unsupervised Domain Adaptation, FUDA）的端到端原型跨域自监督学习（Prototypical Cross-domain Self-Supervised Learning, PCS）框架。PCS不仅实现了跨域低层特征对齐，还在共享嵌入空间中编码并对齐跨域的语义结构。该框架通过域内原型对比学习捕捉数据的类别级语义结构，并借助跨域原型自监督机制实现特征对齐。与当前最先进方法相比，PCS在FUDA任务中分别在Office、Office-Home、VisDA-2017和DomainNet四个数据集上，将不同域对之间的平均分类准确率提升了10.5%、3.5%、9.0%和13.2%。项目主页详见：http://xyue.io/pcs-fuda/index.html