ProfBench 是由 NVIDIA 于 2025 年发布的一个涵盖多领域专业任务评估的数据集，相关论文成果为「ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge」，旨在为研究人员和开发者提供评估大语言模型在专业领域表现的标准基准。

该数据集包含 40 条记录，涵盖 40 个由人类标注的任务，涉及化学博士、物理博士、金融MBA及管理咨询等专业领域。

数据集组成

• ID：样本的标识符
• Domain：领域分类，包括化学博士、物理博士、金融 MBA、咨询 MBA
• Prompt：针对大语言模型的指令
• Rubrics：用于评估模型最终输出的独特准则，数量在 15 至 59 条之间
• Model Responses：来自 OpenAI o3、xAI Grok4 和 DeepSeek R1-0528 的三个模型回复

Citation

@misc{wang2025profbenchmultidomainrubricsrequiring,
      title={ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge}, 
      author={Zhilin Wang and Jaehun Jung and Ximing Lu and Shizhe Diao and Ellie Evans and Jiaqi Zeng and Pavlo Molchanov and Yejin Choi and Jan Kautz and Yi Dong},
      year={2025},
      eprint={2510.18941},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.18941}, 
}