多相似度损失与一般对权重在深度度量学习中的应用

在文献中，已经提出了一类基于对计算的损失函数，为深度度量学习提供了多种解决方案。本文旨在提供一个通用的加权框架，以帮助理解近期提出的基于对的损失函数。我们的贡献主要体现在三个方面：(1) 我们建立了一个通用对加权（General Pair Weighting, GPW）框架，通过梯度分析将深度度量学习中的采样问题统一到对加权的视角下，为理解近期基于对的损失函数提供了一个强大的工具；(2) 借助GPW框架，我们可以全面比较和讨论现有的各种基于对的方法，并明确指出它们之间的差异及关键局限性；(3) 在GPW框架下，我们提出了一种新的损失函数——多相似性损失（Multi-Similarity Loss, MS损失），该方法通过两个迭代步骤（即挖掘和加权）实现，能够充分考虑三方面的相似性进行对加权，从而提供了一种更为合理的信息对采集和加权方法。最终，所提出的MS损失在四个图像检索基准上取得了最新的最佳性能，在CUB200数据集上的Recall@1指标从60.6%提升至65.7%，在In-Shop Clothes Retrieval数据集上的Recall@1指标从80.9%提升至88.0%，大幅超越了最近的一些方法，如ABE\cite{Kim_2018_ECCV}和HTL。代码已发布在https://github.com/MalongTech/research-ms-loss。