基于属性代理学习与谱令牌池化的Transformer少样本学习

本文提出了一种新型的分层级联Transformer架构（HCTransformers），通过属性代理学习（attribute surrogates learning）与谱令牌池化（spectral tokens pooling）机制，显著提升了数据效率。近年来，视觉Transformer（Vision Transformers）被视为卷积神经网络在视觉识别任务中的一种有前景的替代方案。然而，在数据稀缺的情况下，其容易陷入过拟合，性能显著下降。为提升数据利用效率，本文提出分层级联Transformer架构，通过谱令牌池化挖掘图像的内在结构特征，并借助潜在属性代理优化可学习参数。其中，谱令牌池化机制有效利用图像的内在结构，降低前景内容与背景噪声之间的模糊性；而属性代理学习策略则充分利用图像-标签对中蕴含的丰富视觉信息，而非仅依赖标签所指示的简单视觉概念。HCTransformers基于自监督学习框架DINO构建，并在多个主流少样本学习基准数据集上进行了验证。在归纳设置（inductive setting）下，HCTransformers在miniImageNet数据集上分别实现了5-way 1-shot准确率提升9.7%、5-way 5-shot准确率提升9.17%，显著超越DINO基线，充分证明其在提取判别性特征方面的高效性。此外，在包括miniImageNet、tieredImageNet、FC100和CIFAR-FS在内的四个主流基准数据集上，HCTransformers在5-way 1-shot与5-way 5-shot设置下均展现出相对于当前最优（SOTA）少样本分类方法的明显优势。相关训练权重与源代码已公开，可访问GitHub获取：https://github.com/StomachCold/HCTransformers。