ProfBenchは、NVIDIAが2025年に公開した、多分野にわたる専門的タスクの評価をカバーするデータセットであり、関連する論文成果は「ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge」です。これは、研究者や開発者が大規模言語モデル（LLM）の専門分野における性能を評価するための標準的なベンチマークを提供することを目的としています。

このデータセットには40件のレコードが含まれており、化学博士、物理博士、金融MBA、経営コンサルティングなど、人間によってアノテーションされた40件のタスクをカバーしています。

データセットの構成

• ID：サンプルの識別子
• Domain：分野分類（化学博士、物理博士、金融MBA、コンサルティングMBA）
• Prompt：大規模言語モデルに対する指示
• Rubrics：モデルの最終出力を評価するために使用される固有の基準で、15～59件含まれています
• Model Responses：OpenAI o3、xAI Grok4、DeepSeek R1-0528の3つのモデルからの応答

引用

@misc{wang2025profbenchmultidomainrubricsrequiring,
      title={ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge}, 
      author={Zhilin Wang and Jaehun Jung and Ximing Lu and Shizhe Diao and Ellie Evans and Jiaqi Zeng and Pavlo Molchanov and Yejin Choi and Jan Kautz and Yi Dong},
      year={2025},
      eprint={2510.18941},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.18941}, 
}