ToRA：一种面向数学问题求解的工具集成推理Agent

大型语言模型在各类语言任务中已取得显著进展，但在复杂数学问题求解方面仍面临挑战。本文提出 ToRA——一系列集成工具的推理代理（Tool-integrated Reasoning Agents），旨在通过无缝融合自然语言推理与外部工具（如计算库和符号求解器）的使用，实现语言模型的分析能力与工具的计算效率的有机结合，从而有效应对高难度数学问题。为训练 ToRA，我们构建了在数学数据集上具有交互式工具使用轨迹的高质量数据集，基于标注信息采用模仿学习（imitation learning）进行模型训练，并进一步提出输出空间重塑（output space shaping）策略，以精细化优化模型的推理行为。实验结果表明，ToRA 模型在涵盖不同规模的10个数学推理数据集上均显著优于现有开源模型，平均绝对性能提升达13%至19%。特别地，ToRA-7B 在竞赛级数据集 MATH 上取得44.6%的准确率，较当前最佳开源模型 WizardMath-70B 提升22个百分点。此外，ToRA-Code-34B 是首个在 MATH 数据集上达到超过50%准确率的开源模型，其性能显著超越 GPT-4 的思维链（CoT）结果，并在使用程序求解问题方面与 GPT-4 相当。最后，本文对工具交互在数学推理中的优势与现存挑战进行了系统性分析，为未来相关研究提供了重要启示。