Command Palette

Search for a command to run...

2 个月前

通过持续预训练扩展Agent

通过持续预训练扩展Agent

摘要

大型语言模型(LLMs)已演进为具备自主工具调用与多步推理能力的智能体系统,能够解决复杂问题。然而,基于通用基础模型的后训练方法在智能体任务中表现持续不佳,尤其在开源实现中更为明显。我们识别出问题的根本原因:缺乏稳健的智能体基础模型,导致模型在后训练阶段需同时学习多样化的智能体行为,并将其对齐于专家示范,从而引发根本性的优化冲突。为此,我们首次提出将智能体持续预训练(Agentic Continual Pre-training, Agentic CPT)引入深度研究智能体的训练流程,以构建强大的智能体基础模型。基于该方法,我们开发出一款深度研究智能体模型——AgentFounder。我们在10个基准测试上评估了AgentFounder-30B,取得了当前最优性能,同时保持了强大的工具使用能力,尤其在BrowseComp-en上达到39.9%,在BrowseComp-zh上达到43.3%,在HLE基准上的Pass@1指标达31.5%。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供