17 天前

S2SD:用于深度度量学习的同步相似性自蒸馏

Karsten Roth, Timo Milbich, Björn Ommer, Joseph Paul Cohen, Marzyeh Ghassemi
S2SD:用于深度度量学习的同步相似性自蒸馏
摘要

深度度量学习(Deep Metric Learning, DML)通过学习具有泛化能力的嵌入空间,为视觉相似性计算和零样本学习等任务提供了关键工具。尽管近年来DML在不同训练目标上已表现出性能饱和,但已有研究表明,模型的泛化能力随嵌入空间维度的提升而增强。然而,高维嵌入也带来了下游应用中更高的检索开销。为解决这一矛盾,我们提出了一种基于相似性的联合自蒸馏方法(Simultaneous Similarity-based Self-distillation, S2SD)。S2SD通过从辅助的高维嵌入空间与特征空间中引入知识蒸馏,在训练过程中利用互补上下文信息,从而提升模型性能,同时在推理阶段保持原有的计算成本,且对训练时间几乎不产生额外开销。在多种训练目标与标准基准上的实验与消融分析表明,S2SD在Recall@1指标上实现了最高达7%的显著提升,并刷新了当前最优性能记录。代码已开源,地址为:https://github.com/MLforHealth/S2SD。

S2SD:用于深度度量学习的同步相似性自蒸馏 | 最新论文 | HyperAI超神经