HyperAI
Command Palette
Search for a command to run...
APEX-Agents 智能体基准数据集
APEX–Agents 是由 Mercor 于 2026 年发布的一个面向智能体(Agent)的专业任务评测基准,相关论文成果为「APEX–Agents」,旨在评估 AI Agent 执行长流程、跨应用专业服务任务的能力。
该数据集包含 480 个任务,覆盖投资银行、管理咨询和企业法律三个专业领域。任务要求智能体在文档、电子表格、PDF、邮件、聊天和日历等真实工作环境中完成复杂任务,并通过标准化评价规则进行评分。
数据集组成
数据集主要包含以下三个专业领域:
- Investment Banking(投资银行):共 160 个任务、10 个世界环境;
- Management Consulting(管理咨询):共 160 个任务、11 个世界环境;
- Law(法律):共 160 个任务、12 个世界环境。
每个任务主要包含以下内容:
- Prompt:提供给 Agent 的任务指令;
- Rubric:用于评估任务完成情况的标准化评分规则;
- Gold Output:专家创建的参考输出;
- Metadata:任务类型、工作流程、输出格式和预计完成时间等元数据;
- World Context:任务对应的工作环境、文件和其他资源。
Citation
@misc{vidgen2026apexagents,
title = {APEX--Agents},
author = {Vidgen, Bertie and Mann, Austin and Fennelly, Abby and Wright Stanly, John and Rothman, Lucas and Burstein, Marco and Benchek, Julien and Ostrofsky, David and Ravichandran, Anirudh and Sur, Debnil and Venugopal, Neel and Hsia, Alannah and Robinson, Isaac and Huang, Calix and Varones, Olivia and Khan, Daniyal and Haines, Michael and Richards, Zach and Mahapatra, Chirag and Foody, Brendan and Nitski, Osvald},
year = {2026},
howpublished = {arXiv},
url = {https://arxiv.org/pdf/2601.14242}
}
此数据集由社区用户贡献,仅用于教育和信息目的。如有任何内容涉及版权侵权,请通过 [email protected] 联系我们,我们将及时审核并删除。