U-MATH 수학적 추론 데이터 세트

* 이 데이터 세트는 온라인 사용을 지원합니다.여기를 클릭하여 이동하세요.

U-MATH 데이터 세트는 대규모 언어 모델(LLM)의 수학적 추론 능력을 평가하기 위해 특별히 설계된 포괄적인 벤치마크 테스트 세트입니다. 이 데이터 세트는 2024년에 Toloka AI와 Gradarius에 의해 생성되었습니다. 관련 논문 결과는 "U-MATH: LLM의 수학적 능력을 평가하는 대학 수준 벤치마크". 이 데이터세트는 실제 교육 자료에서 추출한 미공개 대학 수준 수학 문제 1,100개를 포함하고 있으며, 초등 수학, 대수학, 미분학, 적분학, 다변수 미적분학, 수열과 급수라는 6가지 핵심 수학 주제를 다룹니다.

U-MATH 데이터 세트의 주목할 만한 특징은 다중 모드 질문이 포함되어 있다는 것입니다. 약 20%의 질문에는 그래프와 차트와 같은 시각적 요소가 포함되어 있어 데이터 처리의 복잡성이 높아지고 모델이 그래픽 정보를 해석하고 추론할 수 있어야 합니다. 데이터 세트의 특징으로는 질문 ID, 주제 태그, 이미지 포함 여부, 이미지 데이터, 질문 진술, 정답 등이 있으며, 이는 모델의 수학적 추론 능력에 대한 포괄적인 평가 기준을 제공합니다.