APEX–Agents は、Mercor が 2026 年に公開した、エージェント（Agent）向けの専門タスク評価ベンチマークです。関連する論文は APEX–Agents」 で入手可能であり、AI エージェントが長期間のワークフローや複数アプリケーションにまたがる専門的なサービスタスクを実行する能力を評価することを目的としています。

このデータセットは、投資銀行、経営コンサルティング、企業法務の 3 つの専門分野をカバーする 480 個のタスクを含んでいます。エージェントは、ドキュメント、スプレッドシート、PDF、メール、チャット、カレンダーなどの実際の業務環境において複雑なタスクを完遂し、標準化された評価規則に基づいて採点されます。

データセットの構成

データセットは主に以下の 3 つの専門分野で構成されています：

• Investment Banking（投資銀行）：計 160 個のタスク、10 個の環境（ワールド）
• Management Consulting（経営コンサルティング）：計 160 個のタスク、11 個の環境（ワールド）
• Law（法律）：計 160 個のタスク、12 個の環境（ワールド）

各タスクは主に以下の要素を含みます：

• Prompt：エージェントに提供されるタスク指示
• Rubric：タスク完了度を評価するための標準化された採点規則
• Gold Output：専門家が作成した参照出力
• Metadata：タスクの種類、ワークフロー、出力形式、想定完了時間などのメタデータ
• World Context：タスクに対応する業務環境、ファイル、その他のリソース

引用

@misc{vidgen2026apexagents,
  title        = {APEX--Agents},
  author       = {Vidgen, Bertie and Mann, Austin and Fennelly, Abby and Wright Stanly, John and Rothman, Lucas and Burstein, Marco and Benchek, Julien and Ostrofsky, David and Ravichandran, Anirudh and Sur, Debnil and Venugopal, Neel and Hsia, Alannah and Robinson, Isaac and Huang, Calix and Varones, Olivia and Khan, Daniyal and Haines, Michael and Richards, Zach and Mahapatra, Chirag and Foody, Brendan and Nitski, Osvald},
  year         = {2026},
  howpublished = {arXiv},
  url          = {https://arxiv.org/pdf/2601.14242}
}