ProfBench est un ensemble de données couvrant l’évaluation de tâches professionnelles dans de multiples domaines, publié par NVIDIA en 2025. L’article scientifique associé est « ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge ». Il vise à fournir aux chercheurs et aux développeurs une référence standardisée pour évaluer les performances des grands modèles de langage dans des domaines spécialisés.

Cet ensemble de données contient 40 enregistrements, correspondant à 40 tâches annotées par des humains, couvrant des domaines professionnels tels que le doctorat en chimie, le doctorat en physique, le MBA en finance et le conseil en gestion.

Composition de l’ensemble de données

• ID : identifiant de l’exemple
• Domaine : classification par domaine, incluant doctorat en chimie, doctorat en physique, MBA en finance, MBA en conseil
• Prompt : instruction adressée au grand modèle de langage
• Critères d’évaluation : critères uniques utilisés pour évaluer la sortie finale du modèle, dont le nombre varie entre 15 et 59
• Réponses du modèle : trois réponses provenant des modèles OpenAI o3, xAI Grok4 et DeepSeek R1-0528

Citation

@misc{wang2025profbenchmultidomainrubricsrequiring,
      title={ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge}, 
      author={Zhilin Wang and Jaehun Jung and Ximing Lu and Shizhe Diao and Ellie Evans and Jiaqi Zeng and Pavlo Molchanov and Yejin Choi and Jan Kautz and Yi Dong},
      year={2025},
      eprint={2510.18941},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.18941}, 
}