Zewen Chi Li Dong Qingxiu Dong Yaru Hao Xun Wu Shaohan Huang Furu Wei

摘要

我们展望一个全新的AI时代，称之为“代理型组织”（agentic organization），在此模式下，智能体通过协同且并行的工作方式解决复杂问题，从而实现超越个体智能的成果。为实现这一愿景，我们提出一种名为“异步思考”（AsyncThink）的新推理范式，用于大规模语言模型，该范式将内部思考过程组织为可并行执行的结构。具体而言，我们设计了一种思考协议：由协调者动态分配子任务给工作者，整合中间知识，并生成连贯的解决方案。更重要的是，该协议中的思考结构可通过强化学习进一步优化。实验表明，与并行思考相比，AsyncThink在推理延迟上降低了28%，同时在数学推理任务上提升了准确率。此外，AsyncThink能够泛化其习得的异步思考能力，在无需额外训练的情况下有效应对未见过的任务。