摘要
从有限数据中学习具有挑战性，因为数据稀缺会导致训练模型的泛化能力较差。传统的全局池化表示可能会丢失有用的局部信息。许多少样本学习方法最近通过使用深度描述符和学习像素级度量来应对这一挑战。然而，使用深度描述符作为特征表示可能会丢失图像的上下文信息。此外，大多数这些方法独立处理支持集中的每个类别，无法充分利用判别信息和任务特定嵌入。在本文中，我们提出了一种基于变压器的新神经网络架构，称为稀疏空间变压器（SSFormers），该架构能够发现任务相关特征并抑制任务无关特征。具体而言，我们首先将每张输入图像分割为不同大小的多个图像块，以获得密集的局部特征。这些特征保留了上下文信息，同时表达了局部信息。然后，我们提出了一个稀疏空间变压器层，用于在查询图像和支持集之间找到空间对应关系，从而选择任务相关的图像块并抑制任务无关的图像块。最后，我们建议使用一个图像块匹配模块来计算密集局部表示之间的距离，从而确定查询图像属于支持集中的哪个类别。广泛的实验表明，在流行的少样本学习基准上，我们的方法优于现有的最先进方法。我们的源代码可在以下网址获取：\url{https://github.com/chenhaoxing/ssformers}。