少样本学习中简单流水线的极限探究：外部数据与微调带来显著差异

少样本学习（Few-shot Learning, FSL）是计算机视觉领域一个重要且前沿的研究课题，激发了大量方法的探索，涵盖从复杂的元学习技术到简单的迁移学习基线方法。本文旨在推动一种简单而高效的少样本图像分类流水线在更贴近实际应用环境中的性能极限。为此，我们从神经网络架构的角度出发，设计了一个三阶段的网络更新流程，该流程在不同数据供给条件下进行优化：首先利用无监督的外部数据进行预训练，其次使用基础类别模拟少样本任务以进行元训练，最后针对新任务中标签极为稀疏的数据进行微调。我们重点探讨了以下几个关键问题：（1）在外部数据上进行预训练如何提升少样本学习性能？（2）如何有效利用当前最先进的Transformer架构？（3）微调在缓解领域偏移（domain shift）方面发挥何种作用？最终，我们发现，仅采用一个简单的基于Transformer的流水线，即可在Mini-ImageNet、CIFAR-FS、CDFSL和Meta-Dataset等标准基准上取得令人惊喜的优异表现。相关代码与演示地址为：https://hushell.github.io/pmf。