2 个月前

几何平均值改进了少样本学习的损失函数

Wu, Tong ; Kobayashi, Takumi
几何平均值改进了少样本学习的损失函数
摘要

少样本学习(Few-shot learning, FSL)是机器学习中的一个具有挑战性的任务,要求模型仅使用少量标记样本就能进行判别分类。在FSL的相关文献中,深度模型通常以度量学习的方式进行训练,以提供一种在特征空间中具有良好泛化能力的度量方法;在这种空间中,即使只有少量的标记训练样本也能构建有效的分类器。本文提出了一种基于几何平均值(geometric mean)的新型FSL损失函数,用于将判别度量嵌入到深度特征中。与利用算术平均值(arithmetic mean)在softmax公式中的其他损失函数不同,所提出的方法通过几何平均值聚合样本之间的成对关系,从而增强跨类别间的判别度量。该损失函数不仅形式简单,而且从理论上进行了详尽分析,揭示了其有利于FSL中特征度量学习的优良特性。在少样本图像分类任务的实验中,该方法的表现与其他损失函数相比具有竞争力。