一句话总结

来自北京大学和蚂蚁国际的研究人员提出了 BizAgentBench，这是一个基于真实支付流程的多轮基准，使用 789 份知识文档、601 个工具和 50 个约束密集型任务，同时评估长程 agent 的目标达成情况与执行有效性；结果显示，Claude Opus 5 和 GPT-6 Sol 等前沿模型的严格成功率分别仅为 $64.0\%$64.0% 和 $61.3\%$61.3%。

核心贡献

• BizAgentBench 是一个基于一家领先支付公司真实流程的多轮基准，配有可执行环境，集成了 789 份知识文档、601 个可发现的业务工具和 50 个通过参考执行验证的任务。
• 该基准提供了确定性检查，同时评估目标达成情况和中间执行有效性，包括资源约束、时间依赖、先前承诺、冲突或过时指导、审批和资金，同时允许多条有效解决路径。
• 实验揭示了前沿模型的局限：Claude Opus 5 和 GPT-6 Sol 的严格成功率分别为 64.0% 和 61.3%；Qwen3.8-27B 的目标达成率为 42.0%，但严格成功率仅为 32.7%；DeepSeek-V4.1-Flash 每次运行平均进行 191.3 次工具调用，比参考执行多约 70%。

引言

AI 的进步已将客户服务从 FAQ 匹配转向面向任务的对话，并在最近转向能够自主执行复杂业务工作流的基于 LLM 的 agent。可靠部署此类 agent 很困难，因为它们不仅必须达到正确的最终结果，还必须在关键中间步骤保持有效性，并且必须在分散、多版本且有时过时的来源中识别权威业务规则。以往的长程 agent 基准往往强调最终任务成功，这可能掩盖中间约束违规和错误规则应用。作者提出了 BizAgentBench，这是一个包含 50 个长程任务的基准，基于真实支付工作流，具有有状态共享资源、截止时间、先前承诺和分布式政策指导，要求在作用域和有效期内进行规则选择。其确定性评估器同时检查结果和记录的执行历史，对照目标、流程合规性和保护要求，因此成功完成不能掩盖早期的无效操作。

数据集

数据集概览

作者将 BizAgentBench 设计为一个可执行基准，供处理真实业务工作流中客户请求的 agent 使用。每个任务包括目标、初始业务状态、客户场景和验收标准。

组成与规模

• 冻结版本包含 50 个任务和 789 份知识文档。
• Agent 拥有九个始终可用的工具，通过这些工具发现并调用 601 项业务能力。
• 用户模拟器拥有十个工具。
• 每次运行使用数据库的独立副本。

来源与重建

• 源工作流来自一家领先的支付与金融科技公司，覆盖跨境支付、外汇和财资服务。
• 敏感业务细节被抽象化或改写，而关键业务逻辑和执行机制在可执行环境中重建。
• 业务文档被组织为结构化 SOP，记录步骤、决策、转移、规则、依赖、前置条件、操作和异常。
• 环境包含当前和历史指导，并具有明确的作用域、版本和有效期，使规则选择成为任务的一部分。

处理与任务设计

• 合成记录实例化实体、账户、义务、授权和交易历史。
• 对于每项操作，文档化条件、相关记录和实现效果保持一致。
• 任务组合共享资源、状态前置条件或时间约束的工作流，形成具有延迟信息和时间敏感决策的多工作流场景。
• 验收标准在 Golden traces 之前定义，包括目标检查、流程检查和保护检查。
• 中间检查在每个相关状态变化时验证审批和持续约束。
• Golden traces 从每个任务的初始状态构建并回放；所有 50 个已发布任务都有可通过的 Golden trace。
• 验证使用有效替代执行、定向违规轨迹和修改后的事实，随后由研究人员和业务领域专家进行审查。

数据使用方式

• Agent 在与用户模拟器的多轮交互中接受评估，以实现共同业务目标。
• Agent 必须查阅文档、查询记录、询问客户私密信息、获得审批，并通过工具执行操作。
• 评估同时覆盖请求结果和中间执行有效性，包括授权、执行时机、状态变化和受保护对象。

方法

作者围绕确定性评估协议和多阶段数据构建流程组织该基准。对于执行历史

$$\tau = (s_0, e_1, s_1, \dots, e_T, s_T),$$τ=(s0​,e1​,s1​,…,eT​,sT​),

其中每个 $e_t$et​ 是一次工具执行或环境事件，任务成功定义为

$$\mathrm{Success}_i(\tau) = G_i(\tau) \wedge P_i(\tau) \wedge F_i(\tau).$$Successi​(τ)=Gi​(τ)∧Pi​(τ)∧Fi​(τ).

这里，$G_i$Gi​ 检查请求结果和允许的终止条件，$P_i$Pi​ 检查约束执行过程的要求，$F_i$Fi​ 检查受保护对象和禁止的副作用。这些检查基于业务状态、账本、回执和事件历史运行。它们区分已执行操作与提议、审批或无副作用的被拒绝调用。因此，评估不会将轨迹与单一黄金路径进行匹配。相反，主要分数由基于业务状态和执行历史的确定性可执行检查计算，不使用 LLM 评判器。

在数据构建方面，作者将流程组织为五个阶段。首先，源业务文档被转换为结构化标准操作流程。候选工作流连同支持证据被提取出来，分组为工作流计划，并转化为指定步骤、决策、转移和返回路径的 SOP。提取的规则记录其作用域、受影响对象、前置条件、操作和异常。含义或适用性无法确定的内容被排除。作用域、版本和有效期差异被保留，以便当前与历史指导可以共存。敏感细节在保持决策逻辑和依赖的同时被一致改写。

其次，可执行任务由这些 SOP 构建。环境包括对齐的文档、合成记录、工具和计划事件。文档指定业务规则和工具接口。合成记录实例化实体、账户、义务、授权和交易历史。工具和计划事件实现相应状态变化。任务通过选择共享业务对象或资源的工作流，或其输出为其他操作创建前置条件的工作流来创建。每个任务指定客户目标、初始数据库状态和计划事件。工作流通过共享资源、状态前置条件和时间要求连接。依赖图捕获这些关系和条件分支。验收标准在 Golden traces 生成之前制定，每条标准都与其治理规则或客户需求绑定。

第三，为每个任务配置基于 LLM 的用户模拟器。通用交互协议定义客户角色、允许的客户侧操作和轮次行为。任务特定场景指定客户目标、私密事实、偏好、支持材料和开场请求。模拟器仅在出现相关提问或提议时披露信息，因此 agent 必须主动获取约束和材料。固定事实在多轮中保持一致。模拟器还在共享环境中执行客户侧操作，例如提交文档或批准拟议交易。批准与特定请求及其当前条款绑定，条款变更需要重新批准。每次请求的写入或等待逐个执行，模拟器在将控制权交还 agent 之前报告实际结果。

第四，通过从 SOP、任务条件和工作流依赖推导参考策略来构建 Golden traces。这些策略通过与评估中使用的相同工具和客户侧操作执行。每条轨迹从初始状态回放，并使用为任务定义的目标、流程和保护检查进行评估。回放覆盖完整的多工作流交互，包括共享资源冲突和时间约束。这确立了至少一种可执行策略满足所有要求。

第五，验证和专家评审测试评估器是否接受有效执行并检测违规。检查使用不同允许路线或操作顺序的有效替代方案，以及定向违规轨迹。例如，临时储备金缺口必须使流程检查失败，即使后续交易恢复余额。决定操作是否有效的事实被修改，以验证在变化条件下相同检查是否产生预期判断。保持合规和业务效果的操作变化不应改变评估结果。最终基准仅包含同时通过自动验证和专家评审的任务。

实验

评估使用 50 个 BizAgentBench 任务，共享公共文档、工具、数据库和验收标准，在用户模拟器下比较专有和开源 agent，并将目标达成情况与流程有效性和保护有效性分开。结果表明，即使最强模型在有效端到端执行方面仍有很大提升空间，流程合规性通常弱于保护合规性，重复运行的可靠性也在下降。消融实验表明，获取客户特定约束比仅检索文档更难，长程轨迹常常将冗余或无效操作与进展混在一起，最终目标成功会高估有效执行，因为中间违规仍然发生。模拟器提示优化减少了协议违规，agent 性能在不同模拟器模型之间保持相对稳定。

前沿模型取得中等的严格成功率，Claude Opus 5 和 GPT-6 Sol 领先，其他大多数系统大幅落后。流程通过率始终低于保护通过率，每个模型都出现中间失败，得分较低的模型尤其如此。这些模式表明，有效执行仍然比达到规定目标难得多。Claude Opus 5 和 GPT-6 Sol 的严格成功率最高，而得分较低的模型落后，一个模型没有完成任何运行。中间失败普遍存在，并随着整体性能下降而增加。流程要求是无效执行的主要来源，每个模型的流程通过率都低于保护通过率。

严格成功率在 agent 收到适用文档时提高，在开场请求中提前提供所有客户信息时进一步提高。完全客户披露带来的更大提升表明，获取并保留客户特定约束尤其困难。即使完全披露，仍有相当一部分任务未解决，说明规划和执行挑战仍然存在。严格成功率从默认条件下的 43.3% 上升到 Gold-doc 条件下的 50.0%，再到完全客户披露条件下的 70.0%。完全客户披露比仅提供适用文档带来更大提升。即使在开始时提供了所有客户已知事实，仍有 30.0% 的任务未能达到严格成功。

DeepSeek-V4.1-Flash 使用的助手工具调用远多于参考轨迹，大部分额外活动集中在数据库查询和知识搜索或文档读取。回溯式工具调用上限会大幅降低严格成功率，即使给定额外两倍参考调用预算，也只能恢复部分无上限性能。结果表明，较长轨迹往往反映高成本的信息搜索和重复检查，而非与任务进展成比例。大多数额外工具调用来自信息访问，尤其是数据库查询和知识搜索或文档读取，而业务能力调用和请求执行仍与参考相近。严格成功率从无上限时的 43.3% 下降到 1.2 倍参考调用次数时的 0.7%，仅在 2.0 倍参考调用次数时回升至 26.7%。即使两倍参考调用次数也会排除许多原本成功的运行，表明额外调用并不一定对应更好的任务结果。

仅凭工具调用量并不能有效衡量进展：一些模型发出大量冗余读取或无效查询，若干运行虽然达到目标，但仍违反流程或保护要求。Qwen3.5-9B 是个异常值，频繁出现工具错误且没有达到目标的运行，而 DeepSeek-V4.1-Flash 的中间违规少于 Qwen3.8-27B，但读取的文档远多于 Golden traces。这些模式表明最终目标检查可能高估有效执行。DeepSeek-V4-Flash 尽管总体工具调用更少，但重复相同数据库读取的频率高于 DeepSeek-V4.1-Flash。Qwen3.5-9B 遇到的工具错误远多于其他模型，读取的不同文档也少得多，表明其长轨迹没有成效。一部分运行达到了请求目标但未通过流程或保护要求，其中 Qwen3.8-27B 在较强模型中此类运行最多。Golden traces 涉及的不同文档读取远少于 DeepSeek-V4.1-Flash，后者的额外检索常常覆盖相关但不适用的文档。

实验使用严格成功率、流程合规性和保护合规性，在基于工具的基准上评估 AI agent。前沿模型仅表现出中等严格成功率，Claude Opus 5 和 GPT-6 Sol 领先；流程要求对有效执行的限制始终大于保护要求，且预先提供所有客户信息比仅提供适用文档更能提高性能。工具调用分析表明，较长轨迹往往反映冗余信息检索和重复检查，而非任务进展；达到目标可能高估有效执行，因为一些运行仍违反流程或保护要求。