APEX–Agents est un benchmark d'évaluation de tâches professionnelles destiné aux agents (Agents), publié par Mercor en 2026, dont les résultats de recherche sont présentés dans l'article « APEX–Agents ». Il vise à évaluer la capacité des agents IA à exécuter des tâches de services professionnels longues, multi-étapes et inter-applications.

Ce jeu de données comprend 480 tâches couvrant trois domaines professionnels : la banque d'investissement, le conseil en management et le droit des affaires. Les tâches exigent que les agents accomplissent des travaux complexes dans des environnements de travail réels incluant documents, feuilles de calcul, PDF, e-mails, messageries et calendriers, et sont notées selon des règles d'évaluation standardisées.

Composition du jeu de données

Le jeu de données comprend principalement les trois domaines professionnels suivants :

• Banque d'investissement (Investment Banking) : 160 tâches au total, réparties sur 10 environnements ;
• Conseil en management (Management Consulting) : 160 tâches au total, réparties sur 11 environnements ;
• Droit (Law) : 160 tâches au total, réparties sur 12 environnements.

Chaque tâche comprend principalement les éléments suivants :

• Prompt : les instructions de la tâche fournies à l'agent ;
• Rubric : les règles d'évaluation standardisées utilisées pour évaluer l'accomplissement de la tâche ;
• Gold Output : la référence produite par des experts ;
• Metadata : les métadonnées telles que le type de tâche, le flux de travail, le format de sortie et le temps estimé de réalisation ;
• World Context : l'environnement de travail, les fichiers et autres ressources associés à la tâche.

Citation

@misc{vidgen2026apexagents,
  title        = {APEX--Agents},
  author       = {Vidgen, Bertie and Mann, Austin and Fennelly, Abby and Wright Stanly, John and Rothman, Lucas and Burstein, Marco and Benchek, Julien and Ostrofsky, David and Ravichandran, Anirudh and Sur, Debnil and Venugopal, Neel and Hsia, Alannah and Robinson, Isaac and Huang, Calix and Varones, Olivia and Khan, Daniyal and Haines, Michael and Richards, Zach and Mahapatra, Chirag and Foody, Brendan and Nitski, Osvald},
  year         = {2026},
  howpublished = {arXiv},
  url          = {https://arxiv.org/pdf/2601.14242}
}