一句话总结

EPFL 的研究人员推出了 blind-spots-bench，一个包含 235 项对人类而言非常简单的诊断性基准测试，具有结构化的任务分类法和自动评分机制。结果表明，闭源多模态模型在这些盲点上的表现比开源模型高出约 $\approx 10\%$≈10%，但没有一个模型在所有任务类型上占据主导地位，这暴露了现有基准测试未能检测到的持续性弱点。

核心贡献

• 推出了 blind-spots-bench，一个包含 235 项任务的基准测试，这些任务对人类来说很简单，但对现代 AI 来说却具有挑战性。该基准测试源自学生提出的问题，并附有结构化的参考解答和细粒度的任务分类法。
• 开发了一个自动评分流水线，用于评估各种模型，包括开源和闭源的语言模型、视觉语言模型及图像生成模型，从而实现一致且可扩展的评估。
• 实证分析表明，闭源前沿模型的表现比开源模型高出约 10%，没有一个模型在所有任务类型上占据主导地位，并且基于分类法的错误分析揭示了模型弱点的不同模式，增大模型规模或启用工具使用并不总能持续提升性能。

引言

大型语言模型和视觉语言模型如今在许多基准测试中已达到接近人类或超越人类的分数，但它们仍然在一些对人类来说微不足道的任务上出现令人惊讶的失败，例如计算图像中的物体数量或生成特定长度的字符串。现有的评估套件通常将性能汇总为宽泛的分数，从而掩盖了这些细粒度的推理差距，而先前的分类法也缺乏分析特定失败模式所需的粒度。为了系统地探查这些盲点，作者引入了 blind-spots-bench，这是一个由研究生提供的 235 个问题构成的手工策划基准测试，并配有结构化的任务分类法和自动评分流水线。他们评估了 38 个前沿模型，揭示了以物体为中心的感知方面的持续弱点，并凸显了不同模型家族之间的不同优势。

数据集

作者构建了 blind-spots-bench 数据集，用于探查前沿 AI 模型的推理缺陷。以下是其来源、组成、处理及使用方式的简要概述。

• 来源与收集

• 原始问题收集自一门研究生级别的 AI 课程的学生。每位学生提出了五个在 2025 年 10 月左右对人类来说看似简单但前沿模型却无法解答的问题。

• 初始问题池包含大约 287 个问题。

• 清洗、过滤和质量控制

• 通过系统化的流水线移除了过于困难或重复的条目，规范化了格式，并确保了清晰度。

• 进行了三阶段审查：人工验证任务清晰度，设置难度阈值（移除对模型过于简单或对人类过于困难的问题），以及优化语言歧义。

• 最终的数据集 blind-spots-bench 包含 235 个样本。

• 标注和元数据

• 解答标注： 每个问题都包含一个结构化的参考解答，指定了预期答案、正确性条件以及常见的失败模式。失败模式来自学生与 AI agent 的交互以及标注者的贡献。

• 问题格式： 每个示例都被标记为纯文本、图像生成或多模态转文本（图像+文本输入，文本输出）。这允许将示例分配给支持相应模态的模型。

• 任务分类法： 问题被分为三大类：以物体为中心的（例如，属性/模式识别、空间推理、感知计数、生成计数）、抽象推理（例如，几何/图形推理、逻辑推理）以及语言与知识（例如，字符级操作）。子任务进一步细化了所需的能力。

• 数据集组成

• 按格式划分：纯文本（46.2%）、图像生成（35.6%）、多模态转文本（18.2%）。

• 按子任务频率：空间推理出现次数最多（53 次），其次是感知计数、生成计数、逻辑推理和字符级操作。这些频率反映了当前模型已知的弱点，并未进行人为平衡。

• 论文如何使用该数据

• 该数据集作为一个零样本评估基准测试。它没有被划分为训练/验证/测试集；所有 235 个样本都作为测试集，用于衡量模型的盲点。

• 格式标签允许仅在模型支持的子集上进行比较，而分类法则支持细粒度的错误分析。

• 不进行裁剪或特定于训练的预处理；该基准测试直接用于推理，并根据提供的参考解答进行评估。

实验

该基准测试由学生提出的问题构建而成，旨在探查前沿模型的盲点，涵盖了以物体为中心的、抽象推理以及语言/知识任务，并附有标注的解答。一个自动化的评估流水线使用评分模型对纯文本、多模态转文本和图像生成格式的响应进行评分，并经过人工判断的验证。结果表明，闭源模型取得了更高的准确率，但开源模型提供了更好的成本效益；增大模型规模并不总能一致地提升性能，而工具使用带来的收益也参差不齐。细粒度的视觉感知仍然是一个主要瓶颈，并且不同的模型家族在不同的子任务类别上表现出互补的优势，而非单一的主导模式。

开源模型在各代之间显示出稳步的提升，GLM-5.2 在纯文本任务上达到了 73.8% 的准确率，但闭源模型 Gemini-3.1-Pro 和 GPT-5.5 总体上仍然领先，特别是在多模态问题上。成本效率差异很大：DeepSeek-V4-Flash 以每 100 个样本仅 0.29 美元的成本实现了具有竞争力的准确率，而 GLM-5.2 则提供了更高的性能但成本也更高。如 Qwen3.5-397B 所示，更长的输出 token 与更强的纯文本结果相关，但并未完全缩小多模态的差距。DeepSeek-V4-Flash 每 100 个样本的成本为 0.29 美元，大约是 GLM-5.2 成本的四分之一，同时仍实现了 67.6% 的纯文本准确率。GLM 的连续版本显示出持续的准确率提升，GLM-5.2 从 GLM-4.7 的 61.3% 提高到 73.8%，同时 pass@4 也从 75.9% 跃升至 84.3%。

图像生成模型在准确率和成本之间表现出权衡。顶级的 Gemini 模型实现了最高的准确率，其中 Gemini-3.1-flash-image 相对于专业版提供了更具成本效益的替代方案，而 GPT 模型则提供了成本较低但准确率也较低的选项。任务分析揭示了互补的优势：Gemini 在抽象推理上表现出色，GPT 在语言与知识上表现更好。Gemini-3-pro-image 在准确率上领先，但每个样本的生成成本最高。Gemini-3.1-flash-image 的准确率与专业版非常接近，但成本不到其一半。GPT-image-1.5 的准确率不如两个 Gemini 模型，但成本显著降低。最便宜的模型 GPT-image-1-mini 记录了最低的准确率。Gemini 和 GPT 模型展现出互补的优势，Gemini 在抽象推理上更好，GPT 在语言与知识任务上更强。

为纯文本问题启用代码执行后，不同模型在准确率和 token 使用量上的变化各不相同。虽然一些模型如 Gemini-3.1-pro 和 GLM-5.2 在减少 token 用量的同时提高了准确率，但其他模型如 GPT-5.4 尽管 token 数量下降，准确率却有所降低。这些混合的结果表明，工具使用并不总能统一地提升性能或效率。Gemini-3.1-pro 的准确率提高了 2.78 个百分点，并减少了 199 个 token。GPT-5.4 的准确率下降了 5.32 个百分点，同时减少了 451 个 token。Kimi-K2.6 多用了 3,314 个 token，但准确率仅提高了 6.25 个百分点。GLM-5.2 减少了 1,712 个 token 的使用，准确率略微提高了 1.16 个百分点。

对纯文本、多模态和图像生成任务的评估表明，闭源模型总体上继续领先，特别是在多模态问题上，而开源模型正在稳步提升，且成本效率差异显著。图像生成任务表现出明显的准确率-成本权衡，Gemini 模型在抽象推理方面表现优异，GPT 模型则提供了更经济的选择，在语言和知识方面更强。为纯文本问题启用代码执行带来了混合的结果，不同模型在准确率和 token 使用量上的变化差异很大，这表明工具使用并非普遍有益。