上下文感知的元学习

像ChatGPT这样的大型语言模型在推理过程中展现出无需微调即可学习新概念的惊人能力。然而，现有的视觉模型在推理阶段检测新物体时却难以复制这一能力，往往表现不佳，或需依赖元训练和/或针对相似物体的微调。在本工作中，我们提出了一种元学习算法，通过在推理过程中无需微调即可学习新的视觉概念，从而模拟大型语言模型的行为。我们的方法利用一个冻结的预训练特征提取器，并借鉴上下文学习（in-context learning）的思路，将视觉元学习建模为对已知标签数据点序列与一个未知标签测试数据点的序列建模问题。在11个元学习基准中的8个上，我们的方法在未进行元训练或微调的情况下，性能超越或达到当前最优算法P>M>F的水平，而后者是在这些基准上经过元训练的。相关代码已开源，地址为：https://github.com/cfifty/CAML。