自洽博弈结合执行反馈：提升大型语言模型的指令遵循能力

大型语言模型（LLMs）的核心能力之一是遵循自然语言指令。然而，如何在无需人工标注的前提下，自动构建高质量的训练数据以提升LLMs的复杂指令遵循能力，这一问题至今仍未解决。本文提出AutoIF，这是首个可扩展且可靠的自动生成指令遵循型训练数据的方法。AutoIF将指令遵循数据质量的验证转化为代码验证任务，要求大语言模型生成指令、相应的代码以检验指令响应的正确性，以及单元测试样例以验证代码的正确性。随后，基于执行反馈的拒绝采样机制可生成适用于监督微调（SFT）和基于人类反馈的强化学习（RLHF）训练的数据。在自对齐（self-alignment）和强到弱蒸馏（strong-to-weak distillation）设置下，将AutoIF应用于当前顶级开源大模型Qwen2和LLaMA3时，显著提升了三种训练算法——SFT、离线DPO（Offline DPO）和在线DPO（Online DPO）的性能。相关代码已公开，地址为：https://github.com/QwenLM/AutoIF。