SuperGPQA는 고급 질문 답변 시스템의 성능을 평가하기 위한 벤치마크 데이터 세트입니다. 2025년 멀티모달 아트 프로젝션 팀에서 개발했습니다. 관련 논문 결과는 다음과 같습니다.SuperGPQA: 285개 대학원 학문 분야에 걸친 LLM 평가 확장". 이 데이터셋은 자연어 처리 및 머신러닝 평가 분야에 중점을 두고 있으며, 복잡한 학제간 문제를 통해 모델의 추론 능력과 지식 수준을 평가하는 것을 목표로 합니다. 이 데이터 세트는 생물학, 물리학, 화학 및 기타 과학 분야를 포함하여 다양한 질문 유형이 포함된 285개의 대학원 수준 과목 영역을 다룹니다.

소환

@misc{pteam2025supergpqascalingllmevaluation, 제목={SuperGPQA: 285개 대학원 분야에 걸쳐 LLM 평가를 확장하기}, 작성자={MAP 팀 및 Xinrun Du 및 Yifan Yao 및 Kaijing Ma 및 Bingli Wang 및 Tianyu Zheng 및 Kang Zhu 및 Minghao Liu 및 Yiming Liang 및 Xiaolong Jin 및 Zhenlin Wei 및 Chujie Zheng 및 Kaixing Deng 및 Shuyue Guo 및 Shian Jia 및 Sichao Jiang 및 Yiyan Liao 및 Rui Li 및 Qinrui Li 및 Sirun Li 및 Yizhi Li 및 Yunwen Li 및 Dehua Ma 및 Yuansheng Ni, Haoran Que 및 Qiyao Wang 및 Zhoufutu Wen 및 Siwei Wu 및 Tianshun Xing 및 Ming Xu 및 Zhenzhu Yang 및 Zekun Moore Wang 및 Junting Zhou 및 Yuelin Bai 및 Xingyuan Bu 및 Chenglin Cai 및 Liang Chen 및 Yifan Chen 및 Chengtuo Cheng 및 Tianhao Cheng 및 Keyi Ding 및 Siming Huang 및 Yun Huang 및 Yaoru Li 및 Yizhe Li 및 리 자오쿤(Zhaoqun Li)과 티안하오(Tianhao) Liang, Chengdong Lin, Hongquan Lin, Yinghao Ma, Zhongyuan Peng, Zifan Peng, Qige Qi, Shi Qiu, Xingwei Qu, Yizhou Tan, Zili Wang, Chenqing Wang, Hao Wang, Yiya Wang, Yubo Wang, Jiajun Xu, Kexin Yang, Ruibin Yuan, Yuanhao Yue, Tianyang Zhan, Chun Zhang, Jingyang Zhang, Xiyue Zhang 및 Xingjian Zhang 및 Yue Zhang 및 Yongchi Zhao 및 Xiangyu Zheng 및 Chenghua Zhong 및 Yang Gao 및 Zhoujun Li 및 Dayiheng Liu 및 Qian Liu 및 Tianyu Liu 및 Shiwen Ni 및 Junran Peng 및 Yujia Qin 및 Wenbo Su 및 Guoyin Wang 및 Shi Wang 및 Jian Yang 및 Min Yang 및 Meng Cao 및 Xiang Yue 및 Zhaoxiang Zhang 및 Wangchunshu Zhou 및 Jiaheng Liu 그리고 쿤슈 린 그리고 Wenhao Huang 및 Ge Zhang}, 연도={2025}, eprint={2502.14739}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2502.14739}, }