HyperAIHyperAI

Command Palette

Search for a command to run...

少样本学习 Few-Shot Learning

少样本学习 (Few-Shot Learning)是在大语言模型提示中提供少量示例、让模型通过上下文学习当前任务的一种用法,通常不更新模型权重。零样本(zero-shot)、单样本(one-shot)和少样本(few-shot)描述的是提示中示例数量的常见区分。需要注意,广义的少样本学习还包括元学习、微调等训练或适配方法,并不都等同于上下文学习。

2020 年,Brown 等人在论文《Language Models are Few-Shot Learners》中提出的 GPT-3 把这条路线推到台前:模型有 1750 亿参数,是此前最大非稀疏语言模型的 10 倍;所有任务都不做梯度更新、不微调,任务说明与示例纯粹以文本形式放进提示。它在翻译、问答、完形填空,以及打乱单词、使用新词等需要临场推理的任务上表现强劲,有时接近针对单任务精调的先进水平。

这也解释了为什么同一模型在不同提示下表现会明显波动——上下文学习对“怎么给例子”高度敏感。它把“每个任务训练一个模型”变成“一个模型用提示适配所有任务”,直接催生了提示工程与上下文学习。局限也同样明显,效果对提示措辞和示例选择敏感,示例的挑选与排列顺序都会影响结果,示例数量还受上下文窗口限制,复杂推理任务仍需要更结构化的方法。

用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供