SuperGPQA ist ein Benchmark-Datensatz zur Bewertung der Leistung fortschrittlicher Frage-Antwort-Systeme. Es wurde 2025 vom Multimodal Art Projection-Team entwickelt. Die zugehörigen Papierergebnisse sind "SuperGPQA: Skalierung der LLM-Bewertung in 285 Graduiertendisziplinen". Dieser Datensatz konzentriert sich auf den Bereich der Verarbeitung natürlicher Sprache und der Bewertung maschinellen Lernens und zielt darauf ab, die Argumentationsfähigkeit und den Wissensstand des Modells anhand komplexer interdisziplinärer Probleme zu testen. Der Datensatz umfasst 285 Themenbereiche auf Hochschulniveau mit unterschiedlichen Fragetypen, darunter Biologie, Physik, Chemie und andere wissenschaftliche Bereiche.

Zitat

@misc{pteam2025supergpqascalingllmevaluation, title={SuperGPQA: Skalierung der LLM-Evaluation in 285 Graduiertendisziplinen}, author={MAP Team und Yuansheng Ni und Haoran Que und Qiyao Wang und Zhoufutu Wen und Siwei Wu und Tianshun Xing und Ming Xu und Zhenzhu Yang und Zekun Moore Wang und Junting Zhou und Yuelin Bai und Zhaoqun Li und Tianhao Liang und Chengdong Lin und Hongquan Lin und Yinghao Ma und Zhongyuan Peng und Zifan Peng und Qige Qi und Shi Qiu und Xingwei Qu und Yizhou Tan und Zili Wang und Chenqing Wang und Hao Wang und Yiya Wang und Yubo Wang und Jiajun Xu und Kexin Yang und Ruibin Yuan und Yuanhao Yue und Tianyang Zhan und Chun Zhang und Jingyang Zhang und Xiyue Zhang und Xingjian Zhang und Yue Zhang und Yongchi Zhao und Xiangyu Zheng und Chenghua Zhong und Yang Gao und Zhoujun Li und Dayiheng Liu und Qian Liu und Tianyu Liu und Shiwen Ni und Junran Peng und Yujia Qin und Wenbo Su und Guoyin Wang und Shi Wang und Jian Yang und Min Yang und Meng Cao und Xiang Yue und Zhaoxiang Zhang und Wangchunshu Zhou und Jiaheng Liu Und Qunshu Lin und Wenhao Huang und Ge Zhang}, Jahr={2025}, eprint={2502.14739}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2502.14739}, }