扩大推理规模，失去控制：评估大型推理模型的指令遵循能力

遵循指令对于使大型语言模型（LLMs）与用户意图对齐至关重要。尽管最近以推理为导向的模型在复杂数学问题上表现出色，但它们在遵循自然语言指令方面的能力仍需进一步研究。在这项工作中，我们引入了MathIF，这是一个专门用于评估数学推理任务中指令遵循能力的基准测试。我们的实证分析揭示了一个持续存在的矛盾：即在扩大推理能力的同时保持可控性的挑战，因为那些推理效果更好的模型往往难以遵守用户的指令。我们发现，经过提炼的长链思维或以推理为导向的强化学习训练的模型，在生成长度增加时，其指令遵循能力往往会下降。此外，我们还表明，即使简单的干预措施也能部分恢复服从性，但这通常会牺牲推理性能。这些发现突显了当前LLM训练范式中的一个基本矛盾，并激发了开发更具指令意识的推理模型的需求。我们已将代码和数据发布在https://github.com/TingchenFu/MathIF。