研究揭示：语言模型中的“思维链”并非可靠推理证据

近日，一项关于大型推理模型的研究成果引起广泛讨论。这项研究旨在探讨“无意义中间令牌”在模型中的作用，以及它们是否如当前假设那样直接影响模型性能。研究团队通过训练变压器模型，采用形式化验证推理痕迹和解决方案的方法，以确保这些中间步骤和最终输出与正式解决器（该研究中采用A*搜索）的结果一致。通过构建一个形式化解释器来解析问题和预期算法的语义，研究人员不仅评估了解决方案的准确性，还评估了中间推理痕迹的正确性。 研究发现，尽管模型在仅关注最终解决方案的基线上取得了显著进步，但即使是在完全正确的推理痕迹上训练的模型，在得出正确的最终答案时仍然会产生无效的中间推理过程。为更深入探究这一现象，研究团队接下来用嘈杂或错误的推理痕迹进行训练，这些痕迹与其对应的具体问题无关。结果显示，这类模型的性能与使用正确数据训练的模型大体相当，甚至在某些情况下表现得更好，且在处理分布外任务时更具鲁棒性。 这些研究成果对目前关于中间令牌或“思维链”的假设提出了挑战，认为这些令牌不一定能诱导出可预见的推理行为，也不应将其过度解读为语言模型中存在人类或算法推理行为的证据，尽管表面看其形式大部分是正确的。此项研究进一步证明，单纯依赖正确的形式化推理痕迹并不能保证模型的整体推理能力。 业内专家对此研究给予高度评价，认为它重新审视了大模型内部的工作机制，有助于理解模型如何生成正确答案以及如何解释其背后的推理过程。专家们指出，尽管这些“中间令牌”在形式上看似合理，但缺乏内在逻辑的支持，研究结果提醒业界不要过度依赖这些表象来评估模型的推理能力和泛化性能。 该研究由多伦多大学和谷歌研究院合作开展。多伦多大学在人工智能领域有着深厚的研究基础，而谷歌研究院则在机器学习和自然语言处理方面处于国际领先地位。此次合作不仅展示了学术界与工业界的紧密联系，也为未来相关研究提供了新的方向。