多相似性对比学习

给定一个相似性度量，对比学习方法通过将相似样本拉近、不相似样本推开的方式，学习到一种有效的表示。对比学习技术已被广泛应用于图像分类、图像描述生成等多种任务的表征学习。然而，现有的对比学习方法在泛化能力方面存在局限，主要原因在于其未充分考虑不同任务中可能存在多样化的相似性关系。为此，本文提出一种新颖的多相似性对比损失函数（Multi-Similarity Contrastive Loss, MSCon），通过联合利用多种相似性度量的监督信号，学习更具泛化能力的嵌入表示。该方法能够基于对应相似性度量的不确定性自动学习对比损失的权重，对不确定性较高的任务进行降权处理，从而显著提升模型在新任务上的域外泛化性能。实验结果表明，采用MSCon训练的网络在域内与域外设置下均显著优于当前最先进的基线方法。