语言代理树搜索统一了语言模型中的推理、行动与规划

尽管语言模型（Language Models, LMs）在各类决策任务中展现出巨大潜力，但其对简单执行机制的依赖限制了其作为自主智能体的大规模部署。本文提出了一种全新的通用框架——语言智能体树搜索（Language Agent Tree Search, LATS），首次实现了语言模型在推理、行动与规划能力上的协同融合。通过利用语言模型的上下文学习能力，LATS将蒙特卡洛树搜索（Monte Carlo Tree Search）引入框架中，使语言模型能够作为具备自主决策能力的智能体运行，并结合由语言模型驱动的价值函数与自我反思机制，实现高效探索与更优决策。本方法的核心特点在于引入了外部环境反馈机制，构建了一种更为审慎且自适应的问题求解范式，显著超越了现有技术的局限性。我们在多个不同领域——包括编程、交互式问答（QA）、网页导航以及数学推理——进行了广泛的实验评估，结果表明LATS在决策能力方面具有卓越的有效性与通用性，同时保持了与现有方法相当甚至更优的推理性能。值得注意的是，LATS在使用GPT-4进行HumanEval编程任务时，达到了92.7%的pass@1准确率，创下当前最优水平；在使用GPT-3.5进行WebShop网页导航任务时，实现了无需梯度的性能表现（平均得分为75.9），与基于梯度的微调方法相当。相关代码已开源，地址为：https://github.com/lapisrocks/LanguageAgentTreeSearch