训练（Training）指通过数据迭代调整模型参数，使模型拟合从输入到输出的映射关系。当前大模型通常采用两阶段流程：第一阶段在海量文本上执行预训练，其目标为预测下一个 token；第二阶段使用少量高质量数据执行后训练，使模型行为由延续文本转变为遵循指令。

2022 年，Ouyang 等人在论文《Training language models to follow instructions with human feedback》中提出了后训练的经典流程：先由标注者撰写示范答案，再依据人类对同一问题多个输出的偏好排序构建奖励信号，并据此继续优化模型。结果表明，参数量为 1.3B 的 InstructGPT，其输出比参数量为 175B 的 GPT-3 更受人类偏好；前者参数量约为后者的百分之一，同时在真实性与毒性指标上表现更好。这一结果说明：后训练能够在不扩大参数规模的前提下显著提升模型可用性。此后，“预训练 + 后训练”成为大模型训练的标准流程。