U-MATH 数学推理数据集

* 该数据集支持在线使用，点击此处跳转。

U-MATH 数据集是一个专门用于评估大型语言模型 (LLMs) 在数学推理方面能力的综合基准测试集，这个数据集由 Toloka AI 与 Gradarius 于 2024 年合作创建，相关论文成果为「U-MATH: A University-Level Benchmark for Evaluating Mathematical Skills in LLMs」。这个数据集包含了 1,100 个未公开的大学水平数学问题，这些问题来源于真实的教学材料，并涵盖了 6 个核心数学主题：初等数学、代数、微分学、积分学、多变量微积分以及序列与级数。

U-MATH 数据集的一个显著特点是其包含的多模态问题，大约 20% 的问题涉及视觉元素，如图形和图表，这增加了数据处理的复杂性，并要求模型能够解释和推理图形信息。数据集的特征包括问题 ID 、主题标签、是否包含图像、图像数据、问题陈述和正确答案，这些信息为模型的数学推理能力提供了全面的评估基础。