一句话总结

来自 TraceLite AI、中国科学院自动化研究所等机构的研究人员提出了 TraceTrial-Bench。该基准将 Agent 运行框架可靠性分解为七个组成部分，包含 95 个面向机制的任务，并集成轨迹追踪、多源证据获取和失败归因模块；在 4 个运行框架、9 个模型和 3,420 次运行中，宏平均运行框架得分介于 59.8% 到 72.0% 之间，其中 31.1% 的运行在至少一项运行框架判据失败的情况下仍取得任务成功。

核心贡献

• TraceTrial-Bench 是一个基准，将 Agent 运行框架可靠性组织为七个组成部分，涵盖上下文、执行、治理、生命周期、可观测性、工具和验证，并提供 95 个专家级、面向机制的任务；这些任务带有可执行或基于状态的真值，以支持语义等价比较，同时保留原生运行框架行为。
• 该基准包含轨迹追踪模块、一个分别评估 Agent 表现和运行框架可靠性的双层评估框架、一个从 Agent 上下文、运行框架和执行环境获取证据的多源证据获取模块，以及一个使用显式机制链进行运行级归因的失败归因模块。
• 在 4 个运行框架、9 个模型和 95 个任务（3,420 次运行）中，宏平均运行框架得分介于 59.8% 到 72.0% 之间，并且 31.1% 的运行在至少一项运行框架判据失败的情况下仍取得任务成功；所发布的任务、配置、轨迹和判定支持可审计、可复现的比较与失败诊断。

引言

大语言模型已成为 AI Agent 的基础，这些 Agent 通过使用工具、执行命令、修改文件以及与外部环境交互来执行多步任务。由于 Agent 行为还取决于系统指令、上下文管理、可用工具、执行环境、持久状态、生命周期控制和安全机制，因此 Agent 运行框架是一个对可靠性至关重要的组件。现有基准大多只评估最终答案、测试结果或环境状态，因而只能反映模型与运行框架的综合效果，无法揭示具体运行框架机制是否失败；即使上下文丢失或生命周期被违反，任务也可能成功，而即使运行框架忠实执行，任务也可能失败。作者提出 TraceTrial-Bench，这是一个面向机制的基准，将被测对象视为原生 Agent 运行框架。它使用可审计的执行轨迹和外部环境状态，覆盖 95 个任务和七个可靠性组成部分，并采用双层评估框架，将 Agent 任务表现与运行框架可靠性区分开来，通过显式机制链支持失败归因。

数据集

作者将 TraceTrial-Bench 描述为一个由 95 个任务总体和归一化轨迹档案构成的形式化评估集。

数据集构成与来源

• 任务总体由分类法子维度生成。每个任务标识一个原生机制、被测属性、模型可见后果和外部真值锚点。
• 该基准包含 46 个单轮任务、45 个固定多轮任务和 4 个模拟器驱动任务。
• 轨迹证据从四个原生运行框架适配器收集：Codex、Claude Code、OpenClaw 和 DeepSeek Harness。

任务详情与过滤规则

• 每个任务包固定提示词或轮次序列、初始工作区、允许的工具、预算、期望输出、确定性验证器、两张评分表，以及可选的模拟器或执行/安全探针。
• 评审过滤检查提示词可解性、预算内机制可达性、验证器与任务真值的一致性、隐藏信息泄露，以及各合格运行框架之间的等价领域语义。
• 私有模拟器状态和持久化基线快照保存在 Agent 可写工作区之外。
• 任务触发器包括需要恢复的超大输出、伴随看似成功产物的非零退出、待处理作业、跨会话边界保留的事实，以及只能通过交互通道获取的私有值。

轨迹处理与元数据构建

• Codex 轨迹获取读取其 JSON 事件流。Claude Code 将 stream-json 输出与会话记录结合。OpenClaw 读取本地或网关支持的 JSON 输出以及会话 JSONL。DeepSeek 消费其持久 JSON-RPC 通知流。
• 归档策略在原生档案可用时存储脱敏副本和摘要。无法归一化的记录作为带来源标记的原始 stdout 或 stderr 事件保留。
• 事件被归一化为 JSON 数组，带连续的 seq 索引和公共封装，包含 schema_version、seq、timestamp、run_id 和 event_type。
• 工具调用使用 tool_call 表示请求的动作，使用 tool_result 表示相关联的返回。返回可以包含带类型的错误状态、退出码、持续时间、截断状态和省略大小。raw_event 保留解析后的源记录。
• 仅当运行框架原生调用标识符可用时，工具结果才与调用关联。未匹配、延迟和重复记录保持明确未关联。
• 多 Agent 谱系记录主体和父主体标识符，而原生会话和轮次标识符保留运行框架边界。
• 提供方级工具声明从提供方请求中临时提取。它们存储名称、描述、输入模式、请求顺序、路径、上游状态、耗时和使用情况，但排除完整请求体和授权材料。仅当请求成功且声明通道存在、结构有效且完整时，该声明才具有权威性。
• 未描述裁剪策略。处理重点为脱敏、归一化、关联和来源保留。

在评估中的使用

• 95 个任务总体用作正式评估集，而不是训练数据。文中未描述训练划分或混合比例。
• 每个任务将运行框架层判据与 Agent 层交付物配对，并使用确定性验证器和两张评分表。
• 轨迹档案通过保留同一动作的多个观察来支持运行框架保真度评估，例如模型可见结果中可能被省略的外部进程超时。

方法

作者提出 TraceTrial-Bench，一个全面的评估框架，旨在将 Agent 运行框架作为完整系统而非模型外围的透明包装来评估。该基准针对每次被接纳的运行回答三个核心问题：Agent 是否产生了所需的产物和动作；原生运行框架是否保留了必要的信息和执行语义；观察到的 Agent 侧失败是否与预先声明的、来自运行框架侧判据失败的传播机制一致。

系统整体架构如下图所示。

被测系统是原生运行框架，它管理模型交互、工具协调、生命周期行为和权限。模型、任务、环境和资源预算作为受控输入，而评估器和采集机制作为测量装置。该流水线按照采集、归一化、证据选择和评估的顺序运行，确保装置故障不会被计为运行框架缺陷。

系统边界与实现的数据流如下图所示。

为组织评估，作者将运行框架可靠性划分为七个顶层维度：上下文、执行、治理、生命周期、可观测性、工具和验证。这些维度由被测运行框架职责定义。机制级可靠性属性在这些组成部分上的分布及其在评估总体中的任务覆盖情况如下图所示。

该方法的一个关键组成部分是轨迹追踪和多源证据获取。由于不同原生运行框架暴露的可观测性接口不同，轨迹获取通过特定于来源的适配器实现，将原生观察映射到公共事件模式。这样能够跨边界重建工具动作，区分模型可见结果、原生记录、外部执行状态和归一化事件。保留这些相互独立的观察，能够实现精确的运行框架保真度判据。

一个语义动作的跨边界重建如下图所示。

评估过程遵循严格的双层协议。一次运行只有在通过装置准入检查后才可评分，这些检查会验证运行身份、生命周期记录、档案完整性和探针完整性。被接纳后，系统先应用确定性规则，再进行语义判断。Agent 层首先使用变更产物作为主要证据进行评估。只有在 Agent 层结果确定后，才根据轨迹和探针证据评估运行框架评分规则。最终得分结合两层的通过率：

$$S = 50 \frac{p_H}{n_H} + 50 \frac{p_A}{n_A}$$S=50nH​pH​​+50nA​pA​​

其中 $p_H$pH​ 和 $p_A$pA​ 分别表示运行框架层和 Agent 层中通过的条目数，$n_H$nH​ 和 $n_A$nA​ 表示各层最终确定的条目总数。

准入和分层评估顺序概述如下。

最后，该框架包含一个失败归因机制，用于区分运行框架侧失败和 Agent 侧失败。它识别候选机制链接，即运行框架判据失败与 Agent 判据失败匹配预先声明的端点和激活条件的情况。这使系统能够区分独立失败和传播性失败，为基于证据的失败分析提供严格基础。

实验

该评估在 95 个任务和 9 个模型配置上比较了 4 个 Agent 运行框架，采用双层评分协议，将 Agent 任务成功与运行框架判据满足情况区分开，所有运行均在可复现的全网格协议下归档。实验验证了结果质量与执行层可靠性在经验上是不同的：不同运行框架分别在两个聚合指标上领先，整体任务成功并不意味着所有运行框架判据都通过。结果进一步表明，运行框架可靠性差异同时取决于模型和分类法维度，即使 Agent 级结果很强，网络限制和工具暴露等机制仍会出现明显不足。失败共现范围大于已确认候选链接的激活范围，说明该基准揭示了超越表面任务失败的诊断性运行框架问题。

该分类法涵盖七个可靠性维度，任务覆盖不均衡，以执行和生命周期为主，可观测性和验证覆盖明显较少。它在各运行框架组成部分中组织了 40 个机制级可靠性属性，并为每个属性分配相同权重。执行在各维度中任务占比最大，其次是生命周期和工具。可观测性和验证是代表性最低的维度，合计覆盖不到十分之一的任务。条件激活在执行和治理中低于工具和可观测性。

评估设计在执行前固定任务条件，并将 Agent 交付物、运行框架职责和独立真值锚点分开，使结果质量和运行框架判据满足情况能够作为不同结果进行测量。在整个网格中，Agent 成功比两层中每个条目都通过要常见得多，且不同运行框架分别在两个聚合指标上领先。失败共现范围大于候选链接激活范围，许多联合失败缺少已存储链接，许多 Agent 失败运行保留着未被任何链接到达的失败判据。Agent 成功率达到 39.5%，而只有 8.4% 的运行在两层中每个条目都通过。不到一半的联合失败运行包含已存储的候选链接，大多数 Agent 失败运行至少保留一个未被任何链接到达的失败判据。H-only 状态刻画了运行层面的吸收现象，即测量到的运行框架不足与完全通过的 Agent 结果共存。

追踪器将观察到的事件归一化为五个规范族：生命周期、模型表面、动作/观察、有状态控制和记账/归档。可选字段仅在原生来源支持时出现。在分析的运行中，联合失败是最大状态，运行框架判定与 Agent 判定经常不一致，失败共现范围大于已存储候选链接激活范围。追踪器将归一化内容分为生命周期、模型表面、动作/观察、有状态控制和记账/归档族，可选字段仅在原生来源支持时输出。联合失败是最大状态，但运行框架判定与 Agent 判定经常出现分歧；失败共现范围超过已存储候选链接激活范围，条件激活在执行和治理中低于工具和可观测性。

所实现的证据架构将档案证据与判据证据分开，并为每个来源分配特定的认识角色。外部状态来源确定发生了什么，模型可见记录确定交付了什么，关联观察支持跨这两个边界的保真度比较。每个判据都会收到一个有界、可审计的证据包，并具有确定性且可检查的检索契约。外部状态来源确定发生了什么，模型可见记录确定交付了什么，关联观察支持跨这些边界的保真度比较。证据包对完整档案进行有界封装而非替代，对短字符串直接返回，对较长字符串保留固定边界片段或以关键词为中心的窗口，同时报告扫描、匹配和返回的数量。

判定解析规则将直接通过/失败状态与仅适用于运行框架的状态区分开，后者区分未执行路径和真正的运行框架故障。未执行的运行框架判据根据 Agent 结果解析，而故障则被最终确定为运行框架失败，与 Agent 表现无关。在各运行中，运行框架判定与 Agent 判定经常出现分歧，联合失败很常见，但只与激活的候选链接部分重叠。无支持证据最终判定为失败，有支持证据最终判定为通过，这适用于 Agent 判据和运行框架判据。未执行和故障状态仅适用于运行框架评分判据，并遵循不同的最终确定规则。未执行的运行框架判据只有在所有 Agent 判据都通过时才通过，而故障总是成为运行框架失败。联合失败是观察到的最大状态，但不到一半的联合失败运行包含已存储的候选链接。大多数 Agent 失败运行至少保留一个未被任何链接到达的失败判据，完全通过的 Agent 结果可以与运行框架不足共存。

实验评估了一个包含七个维度的多维可靠性基准，其中执行和生命周期主导任务覆盖，而可观测性和验证很少被覆盖。评估将 Agent 交付物、运行框架职责和独立真值锚点分开，显示 Agent 成功比通过所有 Agent 和运行框架判据要常见得多，并且联合失败通常缺少已存储的候选链接。追踪器将观察到的事件归一化为五个规范族；证据架构将档案证据与判据证据分开，并使用有界审计包；判定规则区分未执行的运行框架路径和真正的运行框架故障。总体而言，Agent 判定与运行框架判定经常出现分歧，完全通过的 Agent 结果可以与运行框架不足共存。