ProfBench ist ein im Jahr 2025 von NVIDIA veröffentlichter Datensatz, der die Bewertung professioneller Aufgaben in verschiedenen Bereichen abdeckt. Die zugehörige wissenschaftliche Arbeit ist „ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge“ und zielt darauf ab, Forschern und Entwicklern eine Standard-Benchmark zur Bewertung der Leistung großer Sprachmodelle in Fachgebieten zu bieten.

Der Datensatz umfasst 40 Einträge mit 40 von Menschen annotierten Aufgaben aus Fachbereichen wie Chemie-Promotion, Physik-Promotion, Finanz-MBA und Managementberatung.

Zusammensetzung des Datensatzes

• ID: Identifikator der Probe
• Domain: Bereichsklassifizierung, einschließlich Chemie-Promotion, Physik-Promotion, Finanz-MBA, Beratungs-MBA
• Prompt: Anweisung an das große Sprachmodell
• Rubrics: Einzigartige Kriterien zur Bewertung der finalen Ausgabe des Modells, Anzahl zwischen 15 und 59
• Model Responses: Drei Modellantworten von OpenAI o3, xAI Grok4 und DeepSeek R1-0528

Zitation

@misc{wang2025profbenchmultidomainrubricsrequiring,
      title={ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge}, 
      author={Zhilin Wang and Jaehun Jung and Ximing Lu and Shizhe Diao and Ellie Evans and Jiaqi Zeng and Pavlo Molchanov and Yejin Choi and Jan Kautz and Yi Dong},
      year={2025},
      eprint={2510.18941},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.18941}, 
}