HyperAIHyperAI

Command Palette

Search for a command to run...

APEX-Agents 智能体基准数据集

日期

论文 URL

2601.14242

许可证

CC BY 4.0

APEX–Agents 是由 Mercor 于 2026 年发布的一个面向智能体(Agent)的专业任务评测基准,相关论文成果为「APEX–Agents」,旨在评估 AI Agent 执行长流程、跨应用专业服务任务的能力。

该数据集包含 480 个任务,覆盖投资银行、管理咨询和企业法律三个专业领域。任务要求智能体在文档、电子表格、PDF、邮件、聊天和日历等真实工作环境中完成复杂任务,并通过标准化评价规则进行评分。

数据集组成

数据集主要包含以下三个专业领域:

  • Investment Banking(投资银行):共 160 个任务、10 个世界环境;
  • Management Consulting(管理咨询):共 160 个任务、11 个世界环境;
  • Law(法律):共 160 个任务、12 个世界环境。

每个任务主要包含以下内容:

  • Prompt:提供给 Agent 的任务指令;
  • Rubric:用于评估任务完成情况的标准化评分规则;
  • Gold Output:专家创建的参考输出;
  • Metadata:任务类型、工作流程、输出格式和预计完成时间等元数据;
  • World Context:任务对应的工作环境、文件和其他资源。

Citation

@misc{vidgen2026apexagents,
  title        = {APEX--Agents},
  author       = {Vidgen, Bertie and Mann, Austin and Fennelly, Abby and Wright Stanly, John and Rothman, Lucas and Burstein, Marco and Benchek, Julien and Ostrofsky, David and Ravichandran, Anirudh and Sur, Debnil and Venugopal, Neel and Hsia, Alannah and Robinson, Isaac and Huang, Calix and Varones, Olivia and Khan, Daniyal and Haines, Michael and Richards, Zach and Mahapatra, Chirag and Foody, Brendan and Nitski, Osvald},
  year         = {2026},
  howpublished = {arXiv},
  url          = {https://arxiv.org/pdf/2601.14242}
}

用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供