SuperGPQA عبارة عن مجموعة بيانات معيارية لتقييم أداء أنظمة الإجابة على الأسئلة المتقدمة. تم تطويره من قبل فريق عرض الفن المتعدد الوسائط في عام 2025. نتائج الورقة ذات الصلة هي "SuperGPQA: توسيع نطاق تقييم ماجستير القانون عبر 285 تخصصًا للدراسات العليا"تركز مجموعة البيانات هذه على مجال معالجة اللغة الطبيعية وتقييم التعلم الآلي، وتهدف إلى اختبار قدرة النموذج على التفكير ومستوى المعرفة من خلال مشاكل معقدة متعددة التخصصات. تغطي مجموعة البيانات 285 مجالًا دراسيًا على مستوى الدراسات العليا مع أنواع مختلفة من الأسئلة، بما في ذلك علم الأحياء والفيزياء والكيمياء وغيرها من المجالات العلمية.

الاستشهاد

@misc{pteam2025supergpqascalingllmevaluation, title={SuperGPQA: توسيع نطاق تقييم برامج الماجستير في القانون عبر 285 تخصصًا للدراسات العليا}, المؤلف={فريق MAP وXinrun Du وYifan Yao وKaijing Ma وBingli Wang وTianyu Zheng وKang Zhu وMinghao Liu وYiming Liang وXiaolong Jin وZhenlin Wei وChujie Zheng وKaixing Deng وShuyue Guo وShian Jia وSichao Jiang وYiyan Liao وRui Li وQinrui Li وSirun Li وYizhi Li وYunwen Li and ديهوا ما ويوان شنغ ني وهاوران كيو وكياو وانغ وزوفوتو ون وسيوي وو وتيانشون شينغ ومينغ شو وزهينزو يانغ وزيكون مور وانغ وجونتينغ تشو ويولين باي وشينغيوان بو وتشنغلين كاي وليانغ تشين وييفان تشين وتشينغتو تشنغ وتيانهاو تشنغ وكيي دينغ وسيمينغ هوانغ ويون هوانغ وياورو لي و Yizhe Li و Zhaocun Li و Tianhao ليانغ وتشنغ دونغ لين وهونغكوان لين ويينغهاو ما وزونغيوان بينغ وزيفان بينغ وكيجي تشي وشي تشيو وشينغوي تشو وييتشو تان وزيلي وانغ وتشينكينغ وانغ وهاو وانغ وييا وانغ ويوبو وانغ وجياجون شو وكشين يانغ ورويبين يوان ويوانهاو يو وتيانيانغ زان وتشون تشانغ وجينغيانغ تشانغ وشيوي تشانغ و Xingjian Zhang وYue Zhang وYongchi Zhao وXiangyu Zheng وChenghua Zhong وYang Gao وZhoujun Li وDayiheng Liu وQian Liu وTianyu Liu وShiwen Ni وJunran Peng وYujia Qin وWenbo Su وGuoyin Wang وShi Wang وJian Yang وMin Yang وMeng Cao وXiang Yue وZhaoxiang Zhang وWangchonshu Zhou وJiaheng. ليو وQunshu لين وWenhao هوانغ وGe تشانغ}, year={2025}, eprint={2502.14739}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2502.14739}, }