一句话总结

来自伍斯特理工学院、加州大学伯克利分校、艾伦人工智能研究院及其他机构的研究人员推出了 DrawEduMath，这是一个包含 2,030 张经专家标注的学生手绘 K-12 数学图像的基准数据集，其中包含 11,661 条教师编写的问答对和 44,362 条合成问答对，揭示了即使是最先进视觉语言模型也难以对自然且含噪的教育视觉内容进行推理。

核心贡献

• DrawEduMath 是一个英语基准，包含 2,030 张手写 K-12 数学作业图像、教师撰写的图像描述、11,661 条教师编写的问答对，以及题目类型和年级水平等元数据。

• 一种可扩展的基准构建与评估方法结合了教师标注和语言模型生成，生成了 44,362 条合成问答对，并且实验表明这些合成问答对能够产生与教师编写的问答对相似的模型排名。

• 对当前视觉语言模型在 DrawEduMath 上的评估显示，领先系统在有关学生解题正确性的问题上仍然表现不佳，而 Claude 和 GPT-4o 等闭源模型优于开放权重的 Llama 3.2-11B 模型。

引言

随着 AI 系统在数学推理方面不断提升，人们对其在数学教育中用于辅导、即时反馈和错误诊断的兴趣日益增长。然而，许多现有数学基准依赖经过筛选或人工键入的题目，未能捕捉真实学生产生的非结构化手写作业，也未能反映与教师教学对齐的上下文，例如误解和解题策略。该研究利用教师专业知识和语言模型流水线创建了 DrawEduMath，这是一个包含 2,030 张图像的基准，其中包含 K-12 数学题目、学生手写回答、详细的回答描述、问答对和教育元数据。对视觉语言模型的评估表明，当前系统在超越表层视觉线索来解释和评估真实学生数学作业方面仍然受限。

数据集

• 该研究构建了 DrawEduMath，这是一个将学生数学作业与教师标注和问答示例配对的数据集。

• 基础图像子集：

  • 来源：美国学生在在线学习平台 ASSISTments 上的手写回答，该平台上的学生在分配作业后获得教师反馈。
  • 规模：原始图像池包含来自 188 道题的约 60,000 张图像，平均每道题约 300 张图像。该研究对每道题随机抽取 15 张图像进行标注。
  • 年级覆盖与题目来源：这 188 道题覆盖 2 年级至高中，来自三个存在重叠的开放教育资源：Eureka Math、Open Up Resources 和 Illustrative Math。
  • 元数据：图像与原始题目、年级范围、题目来源，以及标识所针对数学技能或概念的 Common Core State Standards 标签相关联。
  • 裁剪与隐私处理：本科科研助理对图像进行裁剪，仅保留数学内容，并通过添加深色矩形遮挡个人身份信息，例如学生的手。
  • 过滤：标注后，被标记为过模糊或未通过二次个人身份信息检查的图像被移除，留下 2,030 张可用图像。

• 教师图像描述子集：

  • 标注者：来自非营利组织 Teaching Lab 的三名纽约市数学教师描述了每张图像。
  • 任务：教师撰写了详尽的描述，目的是让另一位教师无需查看图像即可复现该图像。
  • 输入方式：描述可通过键入获得，也可通过录音并使用 OpenAI 的 Whisper 转录。数据集中键入描述与录音描述数量相近。
  • 规模：教师最初标注了 2,376 张图像，但经过质量和隐私过滤后，仅保留 2,030 张配有描述的图像。
  • 修订：在第二个标注阶段，另有五名教师审阅了描述。超过 90% 的描述未被编辑；如有编辑，通常为小的拼写错误修正。

• 教师编写的问答子集：

  • 来源：同一批 2,030 张学生回答图像，经过第二轮教师标注进行扩充。
  • 内容：教师撰写了他们在审阅学生作业时自然会提出的问题与答案，包括题目级问题、针对具体回答的答案，以及针对每份回答的两个通用问题：学生犯了哪些错误，以及学生使用了什么策略。
  • 额外问答：除题目级问题外，教师还可添加最多两个图像特定的问答对。
  • 规模：数据集包含 11,661 条教师编写的问答对。
  • 在论文中的用途：这些问答对用于支持对教师风格的学生作业评估，并用于构建问题类型分类法。

• 合成问答子集：

  • 生成来源：该研究使用 Claude-3.5 Sonnet 和 GPT-4o，将教师撰写的图像描述转换为原子信息片段，再转换为自包含的问答对。
  • 处理规则：语言模型被要求避免开放式或含糊的问题，并生成简洁答案，以便使用字符串或 ngram 匹配等轻量指标进行基于参考的评估。
  • 规模：该流水线生成了 44,362 条合成问答对。
  • 质量控制：两名评估员审查了 100 条合成问答对的样本，这些样本在两个语言模型之间均匀划分，并检查每个问题能否根据图像作答，以及答案是否正确。大多数采样问答对可作答且正确，而错误通常源于图像中指代关系含糊。

• 使用方式与架构：

  • 该研究主要将 DrawEduMath 作为带标注的视觉语言基准和评估资源使用，而非作为已报告的模型训练混合数据。
  • 提供的文本中未描述训练划分或混合比例。
  • 数据架构将每张学生图像与其原始题目、数学元数据、教师描述、教师编写的问答对，以及可选的合成问答对关联起来。
  • 问题还按七类分类法组织，涵盖更高层次的数学理解、低层次视觉构图与位置、书写与标签、解题步骤与策略、计数、图像创建与媒介，以及正确性与错误。
  • 该分类法显示，教师编写的问题更侧重于解题步骤和正确性，而合成问题则强调图像的其他方面。

方法

该研究将合成问答生成构建为一个多阶段标注转换流水线，而不是要求教育者直接撰写所有基准条目。每个条目始于一个合成视觉实例，其中数学题与一份学生回答并置。教师首先提供自然语言描述。语言模型随后将该描述转换为原子切面以及问答对。如下图所示：

第一个模块是教师描述。教师描述学生回答中的视觉证据，包括书面标签、图示、刻度线、箭头、圈选元素以及明显的解题策略。该描述作为中间表示，连接图像内容与自动生成的问答数据。

第二个模块是基于语言模型的描述到问答转换。流水线使用 Claude-3.5 Sonnet 和 GPT-4o 的提示，将教师描述分解为切面，即最小且自包含的视觉或推理信息单元。形式上，对于描述 $d$d，系统生成切面 $f_1,\ldots,f_n$f1​,…,fn​，然后将每个切面改写为一个问答对 $(q_i,a_i)$(qi​,ai​)。提示会结合教师专家反馈进行迭代优化。生成指令强调自包含切面、与图像事实对齐以及简洁答案，同时避免开放式问题或存在多个可接受答案的条目。

该设计使合成问答对更适合使用字符串匹配或 n-gram 重叠等轻量指标进行自动基于参考的评估。教师编写的答案仍然有价值，因为它们通常包含更丰富的解释细节，因此使用合成流水线扩展基准规模，同时保留教师编写的标注作为补充信号。

第三个模块是质量控制。标注者抽取生成的问答对，并评估两项标准：问题能否根据图像作答，以及答案是否正确。该步骤暴露出反复出现的失败模式。当指代关系含糊时，问题可能无法作答，例如在箭头重叠的图像中，“第二个箭头”所指不清。当底层问题定义不足，或来源标注遗漏相关视觉细节时，答案也可能被判定为错误。由此产生的诊断信息指导提示优化，并帮助确定哪些合成条目足够可靠，可用于支持基准构建。

实验

实验使用自动指标和人工判断，评估了若干视觉语言模型在手写数学问答上的表现，结果表明基于语言模型的评分与人工评估的一致性最好。在教师编写的问答集和合成问答集中，模型排名大体一致，较大的闭源模型优于 Llama，而关于错误检测的问题最难。从定性角度看，模型在低质量图像上表现不佳，并倾向于求解数学题，而不是解释学生作业，经常遗漏或捏造错误。

DrawEduMath 的标注覆盖若干基础 K-12 数学领域，其中 Ratios & Proportions 与 Geometry 出现最频繁，随后是 Expressions & Equations、The Number System，以及 Number & Operations, Fractions。示例词和短语显示，教师会同时描述数学概念和学生作业中的可见特征，例如图示、数轴、阴影区域和几何图形。比例与比例关系是最常出现的领域，几何紧随其后。教师标注将概念标签与具体视觉线索配对，包括箭头、矩形、三角形、数轴和分数模型。这些常见领域涵盖比例推理、代数表达式、有符号数和分数等价。

DrawEduMath 数据集包含美国学生作答来自 2 年级至高中共 188 道题的手写数学图像 它覆盖 86 项数学标准 大多数题目面向 6 至 8 年级 高中层面的题目较少 采样集合平均每道题约 13 张图像 反映了更大原始池中的子集 数据集覆盖广泛的 K-12 年级范围 大多数题目针对中学年级数学技能 集合覆盖 86 个不同数学标准

教师标注较为详细，描述平均超过 100 个词，且略多于一半的标注来自转录语音而非键入文本。后来的增强阶段每个样本所需时间明显多于初始描述阶段，但大多数初始描述基本未变，修订通常仅限于小幅修正。教师编写的描述相对较长且具有描述性。转录标注在首轮标注中占略多数。第二轮标注比初始图像描述更耗时。大多数初始描述未被编辑，即使有编辑也通常较小。

DrawEduMath 的合成问答对通过两个语言模型转换教师描述生成，产生的数量可比较但不均匀。GPT-4o 生成的问答对略多，且每张图像的平均问答对数也高于 Claude，而二者的问题平均长度相近。生成的答案保持简短，便于使用轻量级基于参考的评分，尽管教师编写的答案仍然更具信息量。GPT-4o 贡献的合成问答对份额更大，且每张图像的平均问答对数高于 Claude。人工审查抽取了生成的问答对，检查图像是否支持该问题以及答案是否正确。

标注结果显示 所抽样的生成问答对质量较高但不完美 在一个评估集中 所有问题都被判定为可作答 且大多数答案正确 而另一个集中被判定为不可作答的问题更多 正确答案略少 大多数抽样合成问答对被判定为可根据所提供图像作答 所提供答案通常正确 但并非全部正确 一组生成输出的可作答性和正确性高于另一组

实验通过标注分析和对生成的问答对进行评估来刻画 DrawEduMath 数据集，覆盖广泛的 K-12 数学领域和学生手写回答。标注研究表明，教师描述较为详细，并将数学概念与视觉线索结合，同时大多数初始描述只需有限修订。合成问答生成研究比较了两个语言模型，并使用人工审查来评估问题是否可根据图像作答以及答案是否正确，发现许多生成的问答对可靠，但质量在不同集合之间有所差异。