APEX–Agents는 Mercor가 2026년에 발표한 에이전트(Agent) 대상 전문 작업 평가 벤치마크로, 관련 논문은 “APEX–Agents”이며, AI 에이전트가 장기적이고 크로스 앱 전문 서비스 작업을 수행하는 능력을 평가하는 것을 목표로 합니다.

이 데이터셋은 투자 은행, 경영 컨설팅, 기업 법률의 세 가지 전문 분야를 포함하여 총 480개의 작업으로 구성되어 있습니다. 에이전트는 문서, 스프레드시트, PDF, 이메일, 채팅, 캘린더 등 실제 업무 환경에서 복잡한 작업을 수행해야 하며, 표준화된 평가 규칙을 통해 점수가 매겨집니다.

데이터셋 구성

데이터셋은 주로 다음 세 가지 전문 분야로 구성됩니다:

• Investment Banking(투자 은행): 총 160개 작업, 10개의 월드 환경;
• Management Consulting(경영 컨설팅): 총 160개 작업, 11개의 월드 환경;
• Law(법률): 총 160개 작업, 12개의 월드 환경.

각 작업에는 주로 다음 내용이 포함됩니다:

• Prompt: 에이전트에게 제공되는 작업 지시 사항;
• Rubric: 작업 완료 상태를 평가하기 위한 표준화된 채점 규칙;
• Gold Output: 전문가가 작성한 참고 출력물;
• Metadata: 작업 유형, 워크플로, 출력 형식, 예상 완료 시간 등 메타데이터;
• World Context: 작업에 해당하는 업무 환경, 파일 및 기타 리소스.

인용

@misc{vidgen2026apexagents,
  title        = {APEX--Agents},
  author       = {Vidgen, Bertie and Mann, Austin and Fennelly, Abby and Wright Stanly, John and Rothman, Lucas and Burstein, Marco and Benchek, Julien and Ostrofsky, David and Ravichandran, Anirudh and Sur, Debnil and Venugopal, Neel and Hsia, Alannah and Robinson, Isaac and Huang, Calix and Varones, Olivia and Khan, Daniyal and Haines, Michael and Richards, Zach and Mahapatra, Chirag and Foody, Brendan and Nitski, Osvald},
  year         = {2026},
  howpublished = {arXiv},
  url          = {https://arxiv.org/pdf/2601.14242}
}