重新审视基于局部描述符的图像到类别度量在少样本学习中的应用

少样本学习在图像分类中的目标是在每个类别只有少量训练样本的情况下，学习一个分类器来对图像进行分类。近期的研究已经取得了令人鼓舞的分类性能，通常使用基于图像级特征的度量方法。然而，在本文中，我们认为在少样本学习的情境下，这种级别的度量可能不够有效。相反，我们受到局部不变特征时代惊人成功的启发，认为应该采用基于局部描述符的图像到类别的度量方法。具体而言，基于最近提出的逐幕训练机制，我们提出了一种深度最近邻神经网络（简称DN4），并以端到端的方式对其进行训练。该网络与现有文献的关键区别在于，在最后一层用基于局部描述符的图像到类别度量替换了基于图像级特征的度量。这一度量通过在卷积特征图的深层局部描述符上进行在线$k$-近邻搜索来实现。所提出的DN4不仅学习了用于图像到类别度量的最佳深层局部描述符，还利用了在这种样本稀缺情况下此类度量更高的效率，这得益于同一类别内图像之间视觉模式的可交换性。我们的工作提供了一个简单、有效且计算高效的少样本学习框架。在基准数据集上的实验研究一致显示其优于相关领域的最新技术，最大绝对改进达到了17%。源代码可以从以下网址获取：\url{https://github.com/WenbinLee/DN4.git}。