HyperAI
Command Palette
Search for a command to run...
少样本学习 (Few-Shot Learning)是在大语言模型提示中提供少量示例、让模型通过上下文学习当前任务的一种用法,通常不更新模型权重。零样本(zero-shot)、单样本(one-shot)和少样本(few-shot)描述的是提示中示例数量的常见区分。需要注意,广义的少样本学习还包括元学习、微调等训练或适配方法,并不都等同于上下文学习。
2020 年,Brown 等人在论文《Language Models are Few-Shot Learners》中提出的 GPT-3 把这条路线推到台前:模型有 1750 亿参数,是此前最大非稀疏语言模型的 10 倍;所有任务都不做梯度更新、不微调,任务说明与示例纯粹以文本形式放进提示。它在翻译、问答、完形填空,以及打乱单词、使用新词等需要临场推理的任务上表现强劲,有时接近针对单任务精调的先进水平。
这也解释了为什么同一模型在不同提示下表现会明显波动——上下文学习对“怎么给例子”高度敏感。它把“每个任务训练一个模型”变成“一个模型用提示适配所有任务”,直接催生了提示工程与上下文学习。局限也同样明显,效果对提示措辞和示例选择敏感,示例的挑选与排列顺序都会影响结果,示例数量还受上下文窗口限制,复杂推理任务仍需要更结构化的方法。