17 天前

负边距的重要性:理解少样本分类中的边距

Bin Liu, Yue Cao, Yutong Lin, Qi Li, Zheng Zhang, Mingsheng Long, Han Hu
负边距的重要性:理解少样本分类中的边距
摘要

本文提出了一种针对基于度量学习的少样本学习方法的负边距损失(negative margin loss)。该损失函数显著优于传统的Softmax损失,在三个标准的少样本分类基准上取得了当前最优的准确率,且仅需极少的额外设计技巧。这一结果与度量学习领域普遍采用的零边距或正边距的做法形成了鲜明对比。为了探究负边距损失在少样本分类任务中表现优异的原因,本文从实验和理论两个层面,系统分析了不同边距设置下所学习特征在训练类别与新类别上的可区分性。研究发现,尽管负边距会降低对训练类别的特征可区分性,但它能够有效避免同一新类别样本被错误地映射至多个峰值或聚类中心,从而提升对新类别的判别能力。相关代码已开源,地址为:https://github.com/bl0/negative-margin.few-shot。