摘要
近年来，大型语言模型（LLMs）取得了显著进展，但其在解决复杂问题方面的能力仍存在局限。本文提出了一种名为累积推理（Cumulative Reasoning, CR）的新方法，该方法通过累积且迭代的方式利用LLMs，模拟人类在问题求解过程中的思维模式。CR将复杂任务分解为更小、更易管理的组成部分，并有效利用先前的推理结论进行组合，从而显著提升问题求解能力。我们在多个复杂的推理任务中验证了CR的优势：在逻辑推理任务中，CR相比现有方法最高提升达9.3%，在精心构建的FOLIO wiki数据集上实现了98.04%的准确率；在“24点游戏”任务中，CR达到98%的准确率，较此前最优方法提升24%；在MATH数学问题求解中，CR相较以往方法提升4.2%，在最具挑战性的第5级问题上实现了43%的相对性能提升。当将代码环境与CR相结合时，进一步释放了LLM的推理潜力，其性能相比“思维程序”（Program of Thought, PoT）方法提升了38.8%。相关代码已开源，地址为：https://github.com/iiis-ai/cumulative-reasoning。