探索不变性与等变性表征在少样本学习中的互补优势

在许多现实世界的问题中，获取大量标注样本是不可行的。少样本学习（Few-shot Learning, FSL）是应对这一挑战的主流方法，其目标是在仅有少量样本的情况下，快速适应新的类别。传统的FSL任务主要依赖基于梯度的元学习（meta-learning）与度量学习（metric learning）的思想来解决。然而，近期研究表明，仅通过一个简单的嵌入网络（embedding network）即可获得强大的特征表示，其性能甚至超越了现有复杂的FSL算法。基于这一发现，本文提出一种新型训练机制，该机制同时强制模型对一组通用的几何变换保持等变性（equivariance）与不变性（invariance）。尽管以往研究中等变性或不变性曾被单独使用，但据我们所知，二者尚未被联合应用。通过同时优化这两种看似对立的目标，模型能够联合学习两类互补的特征：一类是与输入变换无关的不变特征，另一类则是编码几何变换结构的等变特征。这两类特征的协同作用显著提升了模型在仅有少量样本情况下对新类别的泛化能力。此外，我们引入了一种新颖的自监督蒸馏目标（self-supervised distillation objective），进一步提升了性能。大量实验表明，即使不采用知识蒸馏，本文所提出的方法在五个主流基准数据集上仍能超越当前最先进的少样本学习方法。