HyperAIHyperAI

Command Palette

Search for a command to run...

PCL:基于代理的对比学习用于领域泛化

Bei Yu Ruiyu Li Ran Chen Qi Sun Yuechen Zhang Xinyun Zhang Yang Bai Xufeng Yao

摘要

领域泛化(Domain Generalization)是指从多个不同的源域中训练一个模型,使其能够直接推广到未见过的目标域。一种有前景的解决方案是对比学习(contrastive learning),该方法通过挖掘来自不同域的样本对之间的丰富语义关系,尝试学习域不变的表示。一种简单的方法是将来自不同域的正样本对拉近,同时将其他负样本对推远。然而,在本文中,我们发现直接应用基于对比学习的方法(例如监督对比学习)在领域泛化任务中效果并不理想。我们认为,对正样本对进行对齐会阻碍模型的泛化能力,原因在于不同域之间存在显著的分布差异。为解决这一问题,我们提出了一种新颖的基于代理(proxy-based)的对比学习方法,该方法将原始的样本对关系替换为代理与样本之间的关系,显著缓解了正样本对对齐带来的负面影响。在四个标准基准数据集上的实验结果验证了所提方法的有效性。此外,我们还考虑了一个更复杂的场景:即不提供ImageNet预训练模型。在该场景下,我们的方法依然表现出更优的性能,展现出良好的鲁棒性和实用性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供