低成本LMs通过调用符号求解器实现参数高效的算术推理

大规模语言模型（Large Language Models, LLM）在模型规模增大时，会涌现出零样本数学推理能力，这一现象通常以思维链（Chain-of-Thought, CoT）推理的形式表现出来。然而，多项实证研究指出，这种强大的推理能力仅存在于参数量极为庞大的LLM中（通常超过500亿参数）。与此同时，教育神经科学研究表明，应在学习算术应用题的同时引入符号代数运算，以实现从语言表述到数学建模、符号运算处理以及最终计算结果求解的模块化流程。本文提出一个假设：即使是一些在多步推理能力上较弱的小规模语言模型（Small Language Models, LM），若将算术应用题以“先形式化、再求解”的任务形式呈现，也能实现较为合理的算术推理。为此，我们提出了一种名为SYRELM的架构。在该架构中，语言模型充当翻译器，将自然语言描述的算术问题转化为形式语言（Formal Language, FL）表达式；随后，由一个符号求解器对FL表达式进行评估，从而获得最终答案。我们采用一个小型冻结语言模型，并配备高效的低秩适配器（low-rank adapter），使其能够生成包含自然语言描述信息的FL表达式，例如变量名称及其语义、变量间的组合表达式等。为了训练该适配后的语言模型，我们引入基于策略梯度的强化学习方法，其奖励信号由不可微的符号求解器提供，从而实现对语言模型输出的反馈优化。这一机制与近期主流的工具增强型LLM范式形成鲜明对比——后者通常将外部工具（如计算器、网络搜索等）与语言模型的学习过程相分离，缺乏端到端的联合优化。实验结果表明，SYRELM在多个基准测试中均取得显著提升，例如在SVAMP数据集上，使用GPT-J 6B模型时，准确率提升了高达30.65个百分点。同时，该方法保持了测试平台的可诊断性、可解释性，并且整体架构对大多数研究者而言均易于复现与使用，具备良好的实用性与推广价值。