一句话总结

VIDRAFT 和 Ginigen AI 推出了 FINAL Bench，这是首个系统评估 LLM 功能性元认知的基准测试，利用 100 个包含隐藏认知陷阱的专家级任务和五轴评分标准，揭示了一种关键的陈述性-程序性分离，其中错误恢复是主要瓶颈（占 MetaCog 增益的 94.8%），并且基线分数与元认知改进之间存在强负相关（Pearson $r = -0.777$r=−0.777）。

核心贡献

• FINAL Bench 被引入，作为一个包含 100 个专家级任务的基准测试，涵盖 15 个领域和 8 种认知类型，每个任务都包含隐藏的认知陷阱，用于评估 LLM 的功能性元认知；九款最先进的模型在基线和 MetaCog 条件下接受测试，并发布了完整的数据集和评分代码。
• 五轴评分标准将陈述性元认知（元认知准确性）与程序性元认知（错误恢复）分离开来，首次量化了陈述性-程序性差距，即口头表达不确定性与实际纠正错误之间的分离。
• 对 1,800 次评估的实证分析表明，94.8% 的元认知改进来自错误恢复，所有九款模型在基线时均表现出 0.392 的平均准确性-恢复差距，且基线分数与元认知增益呈强负相关（Pearson r = −0.777，p < 0.001），从而确立了错误恢复是 LLM 推理的主要瓶颈。

引言

近期的推理模型展现出新兴的自我修正能力，但 AI 评估仍执着于最终答案的准确性，忽视了模型是否知道自己错了。现有的基准测试在知识和推理上已饱和，即使是初期的自我意识探测也仅评估二元检测，而没有测量完整的检测-确认-修正管道。作者通过引入 FINAL Bench 对此加以解决，它包含 100 个嵌有认知陷阱的专家级任务，并采用五轴评分标准，将元认知准确性（陈述性自我监控）与错误恢复（程序性修正）分离开来。这使得首次量化 LLM 中的陈述性-程序性差距成为可能，揭示了错误恢复主导性能，而模型却始终口头表达其未能采取行动的不确定性。

数据集

FINAL Bench 数据集是一个围绕四项设计原则构建的基准测试，旨在衡量语言模型的元认知能力。以下是其构成、来源、处理及用法的简要说明。

• 构成与来源 该基准测试包含 100 个任务。每个任务都设计为包含隐藏的认知陷阱——故意触发元认知失败的刺激。这些任务并非来自现有语料库，而是由作者根据功能测量原则（仅观察行为模式）和陷阱嵌入原则专门构建的。数据集分为两种对比条件：基线条件和 MetaCog 条件，以此隔离元认知支持的因果效应。

• 每个子集的关键细节

• 基线条件：任务在没有任何额外元认知脚手架的情况下呈现。模型必须直接回答，从而暴露其原始的元认知意识（MA）和错误纠正（ER）行为。

• MetaCog 条件：相同的任务在元认知支持干预下呈现。两个条件之间的性能差异量化了模型利用元认知线索的能力。

• 两个子集共享相同的 100 个任务；划分仅按条件进行，而非按任务身份进行。由于任务数量保持不变，因此没有给出显式的大小差异。

• 数据处理与模式 任务设计遵循陈述性-程序性分离原则：每个任务的结构都独立地评分 MA（知道某处出错）和 ER（实际纠正错误）。这意味着每个任务产生两个独立的指标，而它们之间的差距是关键输出。处理过程涉及嵌入不易察觉的陷阱，确保测量基于可观察的行为模式。没有描述额外的元数据或裁剪策略；整个构建都旨在创建一个受控的实验设置。

• 论文如何使用数据 作者仅将 FINAL Bench 用于评估，而非训练。在模型上运行基线和 MetaCog 两种条件，并比较得到的 MA 和 ER 分数。该设计能够进行因果分析：条件之间的差异揭示了元认知支持的影响，而 MA-ER 差距则量化了模型内部“知道”与“做到”之间的错位。由于数据集是基准测试，因此不适用训练拆分或混合比例。

方法

作者引入 FINAL Bench，这是一个旨在系统衡量语言模型元认知能力的基准测试。其构建遵循四项核心设计原则。第一，仅测量可观察的行为模式，坚持严格的功能主义立场（P1）。第二，每个任务都嵌入一个隐藏的认知陷阱，旨在触发元认知失败，因此成功的导航需要真正的自我监控（P2）。第三，元认知意识（MA）和错误恢复（ER）被独立评分，从而能在数量上分离“知道自己错了”与“实际纠正错误”（P3）。第四，比较条件被内置到评估协议中，包括基线条件和 MetaCog 条件，用于隔离元认知支持的因果效应（P4）。

该基准测试包含 100 个任务，涵盖 15 个领域、三个难度等级，以及根据 TICOS 框架定义的八种不同的元认知失败类型。每个任务提供一个 100-500 词的提示，其中隐藏了一个陷阱，同时附有预期的元认知行为、其 TICOS 分类以及难度等级。TICOS 分类法将每个任务归入八种功能性元认知类型之一，确保系统性地覆盖不同的认知失败模式。

性能通过五轴评分标准进行量化，并产生一个单一的 FINAL 分数。这五个轴分别是提示质量（PQ）、元认知意识（MA）、错误恢复（ER）、意图检测（ID）和失败分类（FC）。总体分数是各任务分数的加权平均，难度等级越高，权重越大。形式上，

$\text{FINAL\_Score} = \frac{\sum \left( \text{weighted\_score}_i \times \text{grade\_weight}_i \right)}{\sum \text{grade\_weight}_i}$FINAL_Score=∑grade_weighti​∑(weighted_scorei​×grade_weighti​)​

其中，每个任务的加权分数是评分标准各维度的线性组合：

$\text{weighted\_score} = 0.15 \cdot \text{PQ} + 0.20 \cdot \text{MA} + 0.25 \cdot \text{ER} + 0.20 \cdot \text{ID} + 0.20 \cdot \text{FC}.$weighted_score=0.15⋅PQ+0.20⋅MA+0.25⋅ER+0.20⋅ID+0.20⋅FC.

所有评估均由一个三模型 LLM-as-Judge 集成完成，包括 GPT-5.2、Claude Opus 4.6 和 Gemini 3 Pro。每个评判者使用结构化输出模式，在盲法设置中独立地为每个回答评分。集成平均值与人类评分高度一致，Cohen’s $\kappa = 0.87$κ=0.87 证明了这一点。

评估协议定义了两种不同的模式，以评估外部元认知脚手架的影响。在基线条件下，模型通过单次 API 调用接收任务，没有任何自我修正提示，反映了其原始的默认行为。相比之下，MetaCog 条件将模型包裹在一个外部自我修正脚手架中，该脚手架遵循三阶段管道：（1）初始推理，（2）关键自我审查，（3）纠正性修订。然后，指标 $\Delta_{\text{MC}} = \text{MetaCog Score} - \text{Baseline Score}$ΔMC​=MetaCog Score−Baseline Score 捕捉了脚手架的纯粹效应，独立于模型的原始能力。

实验

FINAL Bench 在多个元认知轴上评估黑盒 LLM，通过比较九款模型在 100 个任务上的基线和 MetaCog 条件。基线排行榜揭示了一个普遍的元认知意识-错误恢复差距，错误恢复是所有模型最薄弱的维度。应用自我修正脚手架极大地改善了错误恢复，但几乎不改变陈述性元认知，使得这一程序性增益成为整体改进的主要来源，并导致更难的任务获益最多。这一模式被解释为监控-控制分离，表明当前模型能够检测错误，但无法自主纠正。

FINAL Bench 在 15 个不同领域和五个轴上评估大型语言模型的元认知能力，与此前依赖更窄或二元评估的基准测试形成对比。在九款最先进模型上的实验表明，错误恢复始终是最薄弱的轴，但在应用自我修正脚手架时，它几乎捕获了所有改进。脚手架的效果揭示了 15 倍的程序性-陈述性差距，并且更难的任务表现出不成比例地更大的增益，指明了当前模型中监控与控制的分离。错误恢复是所有九款模型表现最差的轴，平均得分 0.302，在基线评估的五分之四中出现了地板效应。在没有脚手架的情况下，每款模型都显示出元认知意识优于错误恢复的显著差距（平均差异 0.392）。元认知脚手架逆转了元认知意识-错误恢复差距，使其在所有九款模型中变为负值。94.8% 的脚手架改进集中在错误恢复轴上。脚手架将错误恢复提升了 0.533（程序性），而元认知意识仅提升了 0.035（陈述性），差异达 15 倍。基线性能与脚手架增益呈强负相关（r = −0.777），这意味着更难的任务从脚手架中获益最大。

该框架区分了表面的自我反思（监控准确性，MA）与行为的自我修正（错误恢复，ER），而嵌入空间的不确定性则留待开源研究。基线实验表明，所有九款模型都表现出强大的监控能力与薄弱的错误恢复之间的巨大差距，但自我修正脚手架逆转了这一差距，94.8% 的元认知增益来自 ER。这种改进与基线性能呈强负相关，这种分离平行于认知心理学中经典的监控-控制区分。所有九款模型在基线时都表现出 MA > ER 的普遍差距，ER 是最低的轴，在 79.6% 的评估中停留在 0.25。在 MetaCog 条件下，MA-ER 差距逆转，94.8% 的整体增益仅来自错误恢复轴。自我修正脚手架将程序性 ER 提升了 +0.533，但陈述性 MA 仅提升了 +0.035，差异达 15 倍。MetaCog 增益与基线分数呈强负相关（r = –0.777），因此更难的任务产生的改进幅度要大得多。

所有被评估的模型在基线时都表现出错误恢复的地板效应，在陈述性监控能力与程序性错误恢复之间存在巨大差距。应用自我修正脚手架将程序性错误恢复提升了 0.533，而陈述性监控仅提升了 0.035，逆转了差距，并证明 94.8% 的增益来自错误恢复轴。这种不对称性反映了监控与控制之间的认知分离，表明当前的语言模型能够检测错误，但尚不能有效纠正错误。错误恢复是所有模型最低的轴，平均基线得分为 0.302，在 79.6% 的评估中出现了地板效应。所有模型都存在监控与错误恢复之间 0.392 的普遍差距，监控得分始终高于错误恢复。在自我修正脚手架下，监控与错误恢复之间的差距逆转，94.8% 的改进来自错误恢复。脚手架的程序性自我修正增益是其陈述性监控增益的 15 倍，凸显了鲜明的程序性-陈述性不对称。更难的任务从脚手架中获得的增益更大，基线性能与改进之间存在强负相关（r = -0.777）。

所有九款模型都显示出明显的错误恢复地板效应，ER 显著低于监控准确性，并且普遍存在正的 MA-ER 差距。在元认知脚手架下，这一差距逆转，绝大多数的改进仅来自 ER，而 MA 几乎不变。该模式揭示了陈述性-程序性分离：模型能够监控自身的错误，但若无额外干预则难以纠正它们。每款模型在错误恢复上得分最低，基线评估中大约 80% 的 ER 值约为 0.25。所有模型都普遍存在正的监控准确性-错误恢复差距，平均为 0.392。在元认知条件下，所有模型的 MA-ER 差距均变为负值，94.8% 的增益来自错误恢复轴。自我修正脚手架将 ER 提升了 +0.533，但监控准确性仅提升了 +0.035，差异达 15 倍。基线性能与元认知改进呈强负相关（Pearson r = –0.777），因此更难的任务从脚手架中获益更多。Token 竞争可能导致在应用自我修正时，识别和事实核查分数出现小幅下降。

在 MetaCog 自我修正脚手架下，Kimi K2.5 以 78.54 的 FINAL 分数位居排行榜首位，这得益于其在所有模型中最高的错误恢复。在所有九款模型中，错误恢复主导了其他所有轴，形成了一种普遍的负监控-恢复差距，即程序性控制超过了陈述性监控。每款模型都记录了负的 MA-ER 差距，意味着自我修正后错误恢复超过了监控准确性，逆转了基线模式。Kimi K2.5 取得了最佳的 FINAL 分数和最高的错误恢复（0.908），而 GPT-5.2 在监控准确性和事实正确性上领先，但在错误恢复方面落后。

该基准测试在 15 个不同领域和五个轴上评估元认知能力，与此前较窄的评估形成对比。在九款最先进模型上的实验表明，错误恢复始终是最弱的轴，但自我修正脚手架逆转了监控准确性与错误纠正之间巨大的基线差距，几乎所有的改进都集中在程序性自我修正上。这种分离表明，模型能够检测错误，但若无外部干预则难以纠正，并且更难的任务从脚手架中获益不成比例。