上下文感知的挤压-激励机制用于高效少样本图像分类

近年来，面向用户的应用需求不断增长，这些应用在低数据场景下亟需高效的知识迁移能力。例如个性化任务中，预训练系统通过在少量特定用户标注数据上进行学习，实现对个体用户的适配。此类场景要求在计算复杂度极低的前提下仍保持高精度，因此准确率与适应成本之间的帕累托前沿（Pareto frontier）显得尤为关键。本文在少样本图像分类设置下，通过一项核心贡献——提出一种新型可适应模块：上下文感知的挤压-激励模块（Contextual Squeeze-and-Excitation, CaSE），显著提升了性能。该模块仅需对用户数据（上下文）执行一次前向传播，即可动态调整预训练神经网络，实现高效适应。我们采用元训练的CaSE模块对网络主体进行条件化适配，并结合微调策略对线性分类头进行优化，构建出名为UpperCaSE的方法。实验结果表明，UpperCaSE在VTAB+MD数据集中的26个任务上，以及一个具有挑战性的现实世界个性化基准（ORBIT）上，均达到了当前最优的准确率水平，且相较于主流元学习方法，其适应成本降低了数个数量级，显著缩小了与顶尖微调方法之间的性能差距。