微调后的语言模型是零样本学习者

本文提出了一种简单有效的方法，用于提升语言模型的零样本学习能力。我们证明，通过使用自然语言指令模板描述任务集合对语言模型进行指令微调（instruction tuning），可显著提升模型在未见任务上的零样本性能。我们以一个拥有1370亿参数的预训练语言模型为基础，在超过60个自然语言处理任务上对其进行指令微调，这些任务均以自然语言指令模板的形式进行表述。我们将其微调后的模型命名为FLAN，并在未见过的任务类型上对其进行评估。结果表明，FLAN在性能上显著优于未经修改的原始模型，并在所评估的25项任务中，有20项超越了1750亿参数的零样本GPT-3。此外，FLAN在ANLI、RTE、BoolQ、AI2-ARC、OpenbookQA和StoryCloze等任务上，甚至大幅领先于少样本学习的GPT-3。消融实验进一步揭示，微调数据集的数量、模型规模以及自然语言指令的设计，是指令微调取得成功的关键因素。