ProfBench هو مجموعة بيانات نُشرت من قبل NVIDIA في عام 2025، وتغطي تقييم مهام احترافية عبر مجالات متعددة، حيث تمثل نتائج الورقة البحثية ذات الصلة "ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge"، وتهدف إلى توفير معيار مرجعي للباحثين والمطورين لتقييم أداء نماذج اللغة الكبيرة في المجالات الاحترافية.

تتضمن مجموعة البيانات 40 سجلاً، تغطي 40 مهمة مصنفة يدوياً من قبل البشر، وتشمل مجالات احترافية مثل دكتوراه في الكيمياء، دكتوراه في الفيزياء، ماجستير إدارة الأعمال في التمويل، والاستشارات الإدارية.

تكوين مجموعة البيانات

• المعرف (ID): معرف العينة
• المجال (Domain): تصنيف المجال، ويشمل دكتوراه في الكيمياء، دكتوراه في الفيزياء، ماجستير إدارة الأعمال في التمويل، وماجستير إدارة الأعمال في الاستشارات
• المطالبة (Prompt): التعليمات الموجهة لنماذج اللغة الكبيرة
• معايير التقييم (Rubrics): معايير فريدة لتقييم المخرجات النهائية للنموذج، يتراوح عددها بين 15 و59 معياراً
• ردود النموذج (Model Responses): ثلاث ردود من نماذج OpenAI o3، وxAI Grok4، وDeepSeek R1-0528

الاستشهاد

@misc{wang2025profbenchmultidomainrubricsrequiring,
      title={ProfBench: Multi-Domain Rubrics requiring Professional Knowledge to Answer and Judge}, 
      author={Zhilin Wang and Jaehun Jung and Ximing Lu and Shizhe Diao and Ellie Evans and Jiaqi Zeng and Pavlo Molchanov and Yejin Choi and Jan Kautz and Yi Dong},
      year={2025},
      eprint={2510.18941},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2510.18941}, 
}