APEX–Agents ist ein von Mercor im Jahr 2026 veröffentlichter Benchmark für fachspezifische Agentenaufgaben, mit dem die Fähigkeit von KI-Agenten bewertet werden soll, langläufige, anwendungsübergreifende Aufgaben in professionellen Dienstleistungsbereichen auszuführen. Die zugehörige Veröffentlichung ist APEX–Agents.

Der Datensatz umfasst 480 Aufgaben, die die drei Fachbereiche Investmentbanking, Managementberatung und Unternehmensrecht abdecken. Die Aufgaben erfordern von den Agenten, komplexe Aufgaben in realen Arbeitsumgebungen wie Dokumenten, Tabellenkalkulationen, PDFs, E-Mails, Chats und Kalendern zu erledigen, und werden anhand standardisierter Bewertungsregeln bewertet.

Zusammensetzung des Datensatzes

Der Datensatz umfasst hauptsächlich die folgenden drei Fachbereiche:

• Investment Banking (Investmentbanking): insgesamt 160 Aufgaben, 10 Umgebungen;
• Management Consulting (Managementberatung): insgesamt 160 Aufgaben, 11 Umgebungen;
• Law (Recht): insgesamt 160 Aufgaben, 12 Umgebungen.

Jede Aufgabe enthält im Wesentlichen die folgenden Elemente:

• Prompt: Die dem Agenten erteilte Anweisung zur Aufgabe;
• Rubric: Standardisierte Bewertungsregeln zur Beurteilung der Aufgabenerfüllung;
• Gold Output: Referenzausgaben, die von Experten erstellt wurden;
• Metadata: Metadaten wie Aufgabentyp, Arbeitsablauf, Ausgabeformat und geschätzte Bearbeitungszeit;
• World Context: Die für die Aufgabe relevante Arbeitsumgebung, Dateien und andere Ressourcen.

Zitierung

@misc{vidgen2026apexagents,
  title        = {APEX--Agents},
  author       = {Vidgen, Bertie and Mann, Austin and Fennelly, Abby and Wright Stanly, John and Rothman, Lucas and Burstein, Marco and Benchek, Julien and Ostrofsky, David and Ravichandran, Anirudh and Sur, Debnil and Venugopal, Neel and Hsia, Alannah and Robinson, Isaac and Huang, Calix and Varones, Olivia and Khan, Daniyal and Haines, Michael and Richards, Zach and Mahapatra, Chirag and Foody, Brendan and Nitski, Osvald},
  year         = {2026},
  howpublished = {arXiv},
  url          = {https://arxiv.org/pdf/2601.14242}
}