3 个月前

MACM:利用多智能体系统进行复杂数学问题求解中的条件挖掘

Bin Lei, Yi Zhang, Shan Zuo, Ali Payani, Caiwen Ding
MACM:利用多智能体系统进行复杂数学问题求解中的条件挖掘
摘要

近年来,以GPT-4为代表的大型语言模型在处理常规查询任务方面展现出卓越的能力。然而,当面对需要复杂、多步骤逻辑推理的高级数学问题时,其性能显著下降。为提升模型的推理能力,当前研究主要聚焦于提示工程(prompting engineering),代表性方法包括“思维树”(Tree of Thought)和“思维图”(Graph of Thought)等。尽管如此,这些现有方法仍存在两大局限:其一,其在解决复杂数学问题时的效果仍有限;其二,需为每个问题单独设计提示,严重制约了方法的泛化能力。针对上述挑战,本文提出一种名为条件挖掘多智能体系统(Multi-Agent System for Conditional Mining, MACM)的新型提示方法。该方法不仅能够有效解决复杂的数学问题,还在多种数学场景中展现出优异的泛化性能。在MATH数据集的最难题目(Level 5)上,借助MACM方法,GPT-4 Turbo的准确率从54.68%显著提升至76.73%。相关代码已开源,可通过以下链接获取:https://github.com/bin123apple/MACM。