SuperGPQA est un ensemble de données de référence permettant d'évaluer les performances des systèmes avancés de réponses aux questions. Il a été développé par l'équipe de projection artistique multimodale en 2025. Les résultats de l'article associé sont "SuperGPQA : étendre l'évaluation des LLM à 285 disciplines d'études supérieures". Cet ensemble de données se concentre sur le domaine du traitement du langage naturel et de l'évaluation de l'apprentissage automatique, et vise à tester la capacité de raisonnement et le niveau de connaissances du modèle à travers des problèmes interdisciplinaires complexes. L'ensemble de données couvre 285 domaines d'études de niveau universitaire avec divers types de questions, notamment la biologie, la physique, la chimie et d'autres domaines scientifiques.

Citation

@misc{pteam2025supergpqascalingllmevaluation, titre={SuperGPQA : Évaluation à grande échelle des LLM dans 285 disciplines d’études supérieures}, author={Équipe MAP et Xinrun Du et Yifan Yao et Kaijing Ma et Bingli Wang et Tianyu Zheng et Kang Zhu et Minghao Liu et Yiming Liang et Xiaolong Jin et Zhenlin Wei et Chujie Zheng et Kaixing Deng et Shuyue Guo et Shian Jia et Sichao Jiang et Yiyan Liao et Rui Li et Qinrui Li et Sirun Li et Yizhi Li et Yunwen Li et Dehua Ma et Yuansheng Ni et Haoran Que et Qiyao Wang et Zhoufutu Wen et Siwei Wu et Tianshun Xing et Ming Xu et Zhenzhu Yang et Zekun Moore Wang et Junting Zhou et Yuelin Bai et Xingyuan Bu et Chenglin Cai et Liang Chen et Yifan Chen et Chengtuo Cheng et Tianhao Cheng et Keyi Ding et Siming Huang et Yun Huang et Yaoru Li et Yizhe Li et Zhaoqun Li et Tianhao Liang et Chengdong Lin et Hongquan Lin et Yinghao Ma et Zhongyuan Peng et Zifan Peng et Qige Qi et Shi Qiu et Xingwei Qu et Yizhou Tan et Zili Wang et Chenqing Wang et Hao Wang et Yiya Wang et Yubo Wang et Jiajun Xu et Kexin Yang et Ruibin Yuan et Yuanhao Yue et Tianyang Zhan et Chun Zhang et Jingyang Zhang et Xiyue Zhang et Xingjian Zhang et Yue Zhang et Yongchi Zhao et Xiangyu Zheng et Chenghua Zhong et Yang Gao et Zhoujun Li et Dayiheng Liu et Qian Liu et Tianyu Liu et Shiwen Ni et Junran Peng et Yujia Qin et Wenbo Su et Guoyin Wang et Shi Wang et Jian Yang et Min Yang et Meng Cao et Xiang Yue et Zhaoxiang Zhang et Wangchunshu Zhou et Jiaheng Liu et Qunshu Lin et Wenhao Huang et Ge Zhang}, année={2025}, eprint={2502.14739}, préfixe d'archive={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2502.14739}, }