一句话总结

北京航空航天大学、中国人民大学等机构的研究者提出了 REALCLI，这是一个成对基准，通过包含 22 个子维度和 51 个场景模板的五维框架，统一评估 CLI 任务执行与人类-Agent 协作，其中 REALCLI-EXEC 预先提供完整规范，REALCLI-COLLAB 引入脚本化用户，提供渐进式信息、纠正、约束修改和授权决策，结果表明前沿 Agent 仅取得 49.2% 的平均分，联合协作得分 $J_{\mathrm{collab}}$Jcollab​ 仅为 37.6%。

核心贡献

• REALCLI 被提出为一个成对基准，在 101 个真实 CLI 任务上统一评估任务执行与人类-Agent 协作，覆盖 10 个类别和 52 个子领域，其中 REALCLI-EXEC 和 REALCLI-COLLAB 模式共享任务目标、环境和验证器。
• REALCLI 定义了一个五维协作框架，并将其操作化为 22 个子维度和 51 个交互场景模板，涵盖可理解性、可引导性、观察与恢复、信任校准以及安全与风险意识，并依据交互轨迹和环境证据对协作行为进行评分。
• 对结合 11 个前沿模型和三个 Agent 执行框架的 33 种配置进行的评估表明，REALCLI 仍具挑战性，最高联合协作得分为 37.6%，并揭示任务有效性偏离于协作质量，在可引导性、信任校准和安全边界管理方面存在持续弱点。

引言

大型语言模型正使编程 Agent 能够通过命令行界面执行操作，SWE-bench 和 Terminal-Bench 等基准评估了仓库和终端任务上的自主执行。然而，这些协议通常提供完整且固定的规范，只判断最终状态，并且对执行过程或用户协调的评估有限。先前包含用户交互的工作通常将其视为完成任务的手段，或只关注指令遵循等狭窄行为，而没有评估协作质量本身。为弥补这一不足，作者构建了基于 HCI 理论的五维协作框架，并提出了 REALCLI，这是一个包含 101 个真实 CLI 任务的成对基准，以自主模式和脚本化人类-Agent 协作模式运行相同任务，从而能够直接比较任务结果和协作质量。

数据集

数据集描述：REALCLI

作者将 REALCLI 构建为一个基准，在相同 CLI 任务和环境中将自主执行与用户协作配对。两种模式共享任务目标和验收标准，而 COLLAB 增加可复现的脚本化交互，并在任务结果之外评估协作质量。

组成与结构

• 每个任务被形式化为元组：$x = (\mathcal{E}, s_0, \omega, V)$x=(E,s0​,ω,V)。
  • $\mathcal{E}$E：CLI 执行环境
  • $s_0$s0​：初始环境状态
  • $\omega$ω：完整任务规范
  • $V$V：结果验证器
• REALCLI 在两种模式下评估每个任务：
  • EXEC：仅使用环境动作和观测进行自主执行
  • COLLAB：使用环境动作加通信动作执行，并使用环境观测加用户消息
• 最终数据集包括：
  • 101 个任务
  • 10 个顶级类别
  • 52 个子领域
  • 51 个协作场景模板
  • 1,658 个评估检查项

来源与构建子集

• 基础实例从真实 CLI 日志合成。
• 构建阶段主要有两个子集：
  • 经过验证的基础实例池
  • 最终交互交付池

基础实例合成

• 真实 CLI 日志被压缩为任务目标、环境状态、约束和失败信号。
• 面向技能的实例构建将这些证据转换为可复用技能，涵盖操作模式、环境依赖和纠正动作。
• 这些技能引导任务指令、容器化环境、参考解法和验证器的合成。
• 质量检查检查文件和容器配置，验证规范与测试的一致性，并要求参考解法通过而空操作基线失败。
• 多 Agent 运行可区分任务问题与基础设施问题。任务问题被转至实例修复，基础设施问题则重试。
• 难度分析将候选实例分为简单、中等或困难。
  • 中等和困难候选进入经过验证的基础实例池。
  • 简单候选通过补充技能进行增强，并重新进入实例构建和验证。

交互式实例合成

每个经过验证的基础实例都增加了一个交互层，支持渐进式信息披露和场景驱动的探针。

• 场景分配：每个基础任务根据任务语义、执行特征和预定义模板获得六个协作场景。
• 交互脚本编写：脚本包括开场消息、信息切片、场景探针和检查项。开场消息提供部分信息，后续切片披露剩余需求和上下文。
• 脚本验证：静态检查验证结构、文件引用以及场景、探针和检查项之间的一致性。语义审查检查任务与场景的匹配度、对话自然性和证据可追溯性。
• 端到端试点：目标 Agent 在用户模拟器配合下完成任务，裁判审查确认每个预期的协作能力都被引出且可衡量。
• 最终筛选：人类专家审查候选实例并进行难度过滤。通过的实例保留基础任务产物，并添加交互相关文件后进入交付池。

评估中的使用

• 在 EXEC 中，初始观测呈现完整任务规范，之后观测仅来自环境。
• 在 COLLAB 中，运行以部分请求开始，剩余任务信息通过用户消息逐步引入。Agent 也可以请求澄清或授权。
• 两种模式在终端状态上使用相同的结果验证器。
• COLLAB 还使用完整交互轨迹来评估协作质量。
• 协作质量沿五个维度衡量，子维度细化具体行为，场景模板将其落实到具体 CLI 任务情境中。
• 提供的材料未指定训练划分或混合比例；REALCLI 被作为评估基准而非训练语料呈现。

方法

作者通过两条顺序流水线构建 REALCLI：从真实 CLI 日志进行基础实例合成，以及从经过验证的基础实例进行交互式实例合成，如下图所示：

基础实例合成。流程从日志压缩开始，将原始 CLI 轨迹浓缩为任务目标、环境状态、约束和失败信号。在面向技能的实例构建阶段，这些证据被转换为可复用技能，涵盖操作模式、环境依赖和纠正动作。这些技能引导任务指令、容器化环境、参考解法和验证器的合成。随后质量检查检查文件和容器配置、规范与测试一致性，并验证参考解法通过而空操作基线失败。候选实例经过多 Agent、多次运行。Agent 运行与诊断区分任务问题与基础设施问题，将任务问题转回实例修复，同时重试基础设施问题。最后，难度分析将生成的候选实例分为简单、中等或困难。中等和困难候选进入经过验证的基础实例池，而简单候选通过补充技能增强并重新进入实例构建和验证。

交互式实例合成。每个经过验证的基础实例都增加一个交互层，支持渐进式信息披露和场景驱动探针，并分为五个阶段。首先，在场景分配中，根据任务语义、执行特征和预定义模板，为每个基础任务分配六个不同的协作场景，平衡不同任务类型和五维协作框架的覆盖。接下来，交互脚本编写生成一个交互脚本，包含开场消息、信息切片、场景探针和检查项。开场消息提供部分信息，信息切片逐步披露需求和上下文。每个探针指定目标协作行为、预期证据和关联检查项。探针被渲染为呈现给未提前获得完整信息的 Agent 的用户消息，如果过早泄露评估意图则进行修改。随后进行脚本验证，其中静态检查验证脚本结构、文件引用以及场景、探针和检查项之间的一致性，语义审查评估任务与场景匹配度、对话自然性和证据可追溯性。未通过的脚本返回编写阶段。然后进行端到端试点，目标 Agent 与用户模拟器一起完成任务，随后裁判审查确认每个预期协作能力被成功引出且可衡量。最后，通过试点的候选经过人类专家审查和难度过滤进行最终筛选。通过的实例保留基础任务产物，追加用户交互所需特定文件，并进入交付池。

脚本驱动的用户模拟。REALCLI 使用任务级用户脚本控制任务信息如何进入交互以及用户何时参与。其核心由信息切片和交互探针组成。对于任务 $x$x，第 $k$k 次用户交互时模拟器定义为：

$$\mathcal{U}_{x}^{k} = (c_{x}, \mathcal{I}_{x}, \mathcal{P}_{x}, z_{k}).$$Uxk​=(cx​,Ix​,Px​,zk​).

其中 $c_{x}$cx​ 指定用户角色以及交互的开始和结束，$\mathcal{I}_{x}$Ix​ 和 $\mathcal{P}_{x}$Px​ 分别表示信息切片和交互探针，$z_{k}$zk​ 表示当前运行时状态。信息切片 $\mathcal{I}_{x}$Ix​ 将完整任务规范 $\omega$ω 分解为在执行过程中逐步释放的切片，既可以响应 Agent 的询问，也可以由模拟器主动提供。交互探针 $\mathcal{P}_{x}$Px​ 将五维协作框架中的场景模板实例化为与当前任务相关的探针。每个探针包含脚本化用户干预及其触发条件、预期行为和证据要求。在第 $k$k 次交互时，模拟器根据前面的执行轨迹和状态 $z_{k}$zk​ 选择适用的信息切片和探针，生成用户消息并更新状态。

实验

REALCLI 在相同的 101 个任务上评估 CLI Agent，涵盖自主执行和脚本驱动的用户协作，在五维协作质量框架下同时衡量任务成功。实验表明，当前前沿 Agent 针对任务完成进行了优化，但在可引导性、信任校准和安全性方面仍然薄弱，因此即使任务成功适中，联合协作得分也会急剧下降。用户交互产生混合结果，对主动请求澄清并整合反馈的模型有帮助，而对依据部分信息采取行动的模型有害，最明显的弱点是跨轮次维护目标和约束。许多完成任务轨迹仍然未通过协作检查，或产生与已协商约束不匹配的产物，表明执行成功与协作质量是两个不同且互补的评估轴。

基准格局显示环境级验证较广泛，但对运行时用户参与、成对评估以及可理解性、可引导性、观察、信任和安全等协作维度的显式评估较少。实验结果表明，模型更擅长响应即时阻碍和连续请求，而在跨轮次维护先前约束方面较弱。即使成功的交互轨迹也常常遗漏协作要求，最终产物可能与所述约束不匹配，尽管对话响应适当。环境级验证在所列基准中得到了明确评估，而成对评估和大多数协作维度大多被标记为未评估或仅部分评估。模型对观察到的阻碍和连续需求变更的响应频率高于对目标扩展、冲突指令或保留早前约束的响应，表明跨轮次目标维护较弱。

协作框架定义了五个维度：可理解性、可引导性、观察与恢复、信任校准以及安全与风险意识。子维度细化每个维度中的具体行为，场景模板将其落实到具体 CLI 任务情境。实验证据表明，模型对即时请求的响应比对跨轮次目标维护、约束保留或对话与最终产物的一致性更可靠。模型处理即时阻碍和当前请求比处理范围扩展、冲突指令或保留早前约束更可靠。成功完成任务并不保证协作成功；许多轨迹仍然至少未通过一项适用的协作检查，尤其是在授权、冲突处理或风险沟通方面。

结果一致显示，在全部三个脚手架中，自主执行与联合协作之间存在差距：执行奖励中等到较高，但当安全、通信和协调约束被强制执行时，联合协作得分大幅下降。Claude Opus 5 在留存划分中领先，其次是 DeepSeek V4.1 Flash。用户交互改变结果，主动请求澄清的模型改善了协作奖励，而许多前沿模型仍未通过协作检查。在模型和脚手架中，联合协作得分始终低于执行奖励，一些模型在联合协作评估下损失了大部分执行得分。主动请求澄清并采纳用户纠正的模型显示出正向协作奖励变化，而基于部分信息的过度自信执行则与负向变化相关。

各模型和脚手架之间的协作能力不均衡，在可理解性和观察与恢复方面相对较强，但在可引导性、信任校准和安全边界管理方面持续较弱。联合协作得分始终低于相应的综合协作得分，表明更严格的协作要求会降低性能。最强模型在不同脚手架上保持相对稳定，而其他模型在联合评估下大幅下降。可理解性和观察与恢复得分往往较高，而可引导性、信任校准和安全边界管理是最弱维度。在所有报告的模型-脚手架组合中，联合协作得分均低于综合协作得分，一些模型的安全边界管理得分接近零。

实验通过一个五维协作框架评估 CLI 任务基准，将不同模型脚手架中的环境级执行成功与联合协作检查进行对比。结果表明，模型对即时阻碍和连续请求的响应比对跨轮次目标维护、约束保留或对话与最终产物的一致性更可靠，成功完成任务仍常常遗漏授权、冲突处理和风险沟通等协作要求。在模型和脚手架中，联合协作得分始终低于执行得分和综合协作得分，可理解性与观察与恢复相对较强，可引导性、信任校准和安全边界管理持续较弱，而请求澄清的行为能改善协作结果。