一句话总结

来自香港大学 MMLab 和美团的研究者提出了 UniClawBench，一个以能力为驱动的基准测试，通过 400 个双语任务评估 proactive agent 在动态真实世界环境中的表现。这些任务围绕五项基础能力（Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding 和 Cross-Platform Coordination）构建，使用实时 Docker 容器和闭环评估策略，将基础模型能力与 agent 框架设计解耦分析。

核心贡献

• UniClawBench 引入了一个以能力为驱动的基准测试，围绕五项基础模型能力（Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding 和 Cross-Platform Coordination）组织 400 个双语真实世界任务，取代了将多种技能混杂在一起的基于场景的分类法。
• 闭环评估策略在实时 Docker 容器中运行 agent，配备细粒度的逐步完成检查点和三角色框架（执行者、隐藏监督者和用户模拟器），在不暴露评分标准的情况下模拟真实的多轮人类反馈。
• 跨多个 agent 框架（OpenClaw、Nanobot、EDICT）和最先进模型的评估将模型的内在能力与框架层面的设计选择解耦分析，揭示了两者如何共同决定真实世界表现。

引言

大语言模型已演变为 proactive agent，能够自主控制浏览器和终端，充当始终在线的数字助手，然而现有的基准测试未能捕捉其在真实世界中的表现。这些基准测试依赖具有静态答案的沙盒环境，仅评估单轮交互，并按场景而非所需的基础能力来组织任务，导致无法准确定位 agent 失败的原因。研究者提出了 UniClawBench，一个以能力为驱动的基准测试，使用 400 个双语真实世界任务在实时 Docker 容器中测试 agent 的五项基础维度（Skill Usage、Exploration、Long Context、Multimodal 和 Cross-Platform）。为应对动态环境的不稳定性以及在多轮反馈中泄露评估标准的风险，设计了一个三角色闭环评估方案，包含隐藏监督者和用户模拟器，后者在不暴露真实答案的情况下提供自然的纠正反馈。

数据集

研究者提出了 UniClawBench，一个手工构建的包含 400 个双语任务的基准测试，旨在评估 agent 在五个核心维度上的能力。每个任务均基于真实的日常用户场景构建，并附带所有必要的上下文、工具和隐藏的评估参考信息。

数据集构成与来源

• 总任务数：400，英语（200）和中文（200）各半。
• 所有任务均由研究者基于真实的个人工作流程手工制作，而非从现有数据集中抓取。
• 每个任务根据其主要瓶颈被分配到五个能力类别之一。

各子集的关键细节

• Skill Usage（80 个任务，40 英文 / 40 中文）： 要求选择、检查并操作特定工具或 API（例如 OCR、电子表格、SQLite、Git、文档转换）。成功取决于正确使用所提供的工具接口来生成可验证的产出物。
• Exploration（80 个任务，40 英文 / 40 中文）： 测试在信息不完整或具有误导性的情况下进行开放式调查的能力。agent 必须逆向工程未文档化的 API、审计配置、追溯数据至权威来源或解决谜题。输出包括最终产出物和支持性的审计记录。
• Long-Context Reasoning（80 个任务，40 英文 / 40 中文）： 评估跨多种异构来源（网页、视频、PDF、电子邮件）的综合能力。挑战在于保持全局一致性并调和冲突，而非仅仅检索孤立的事实。
• Multimodal Understanding（80 个任务，40 英文 / 40 中文）： 基于图像、视频和音频。任务要求提取非文本证据以重新创建图表、生成字幕或组织视觉集合。正确性取决于实际的视觉/音频内容，而非元数据。
• Cross-Platform Coordination（80 个任务，40 英文 / 40 中文）： 涉及在网页、桌面 GUI、文件、日历和其他应用程序之间同步状态和传输信息。agent 必须使用真实的桌面工具，并跨平台边界保留证据。

任务包结构 每个任务是一个完整的包，包含：

• 用户指令
• 任务特定的上下文
• 输入文件、网页资源、工具、服务和技能
• 期望的输出格式（例如 JSON、CSV、办公文档、图表、GUI 状态）
• 用于自动评分的隐藏评估参考信息

未进行任何裁剪或过滤；任务从零开始设计，使得主要能力瓶颈清晰明确，同时允许自然的辅助操作。

基准测试的使用方式 UniClawBench 采用三角色闭环评估：一个执行者 agent 尝试完成任务，一个隐藏监督者 agent 监控并评分，一个公开的用户模拟器提供多轮反馈而不泄露私密的评分信息。整个流水线在基于 Docker 的环境中运行，包含任务资源注入、产出物收集以及监督者驱动的评分系统。该基准测试不用于训练，仅用于衡量 agent 在五个能力维度上的熟练程度。

方法

研究者围绕以能力为导向的任务分类法设计 UniClawBench，将评估场景组织为层次化的任务包结构。该分类法确保每个任务按其锻炼的特定 agent 能力进行分类，从而能够对不同工具使用和交互模式下的模型表现进行细粒度分析。基准测试的构成通过一系列任务包实例化，每个任务包包含问题定义、初始状态和期望结果，并附有涵盖任务分布和难度的全面统计数据。

为了在多轮交互式设置中评估 agent 而不泄露私密评分信息，该框架采用三角色闭环策略。被评估的执行者 agent 与公开的用户模拟器交互，后者发布指令并提供对话反馈，而隐藏监督者 agent 监控执行过程、评估正确性并管理评分。这种解耦防止执行者获取真实的评估信号，保持了交互的真实性，并确保 agent 必须仅依赖面向用户的反馈。

执行和评估流水线使用 Docker 进行容器化，以保证可复现性和隔离性。任务资源被注入运行时环境，agent 的操作在此沙盒内执行。交互完成后，产出物收集模块收集日志、工具输出和最终状态。然后，监督者驱动的评分流水线根据任务特定的评分标准处理这些产出物，生成结构化的评估结果。该系统设计支持在整个基准测试中对 agent 表现进行可扩展、一致的评估。

实验

评估设置使用一个以能力为导向的基准测试，包含跨五个维度的 400 个真实世界任务，通过闭环多轮交互进行评估，其中隐藏监督者对进度评分，模拟用户在不暴露评估标准的情况下提供自然反馈。跨模型实验表明，即使是最强的模型也只能取得部分进展，无法完成大多数任务，其中在 long-context reasoning、multimodal understanding 和 cross-platform coordination 方面的差距最大。跨框架比较揭示，框架设计深刻影响成功率，统一轨迹方法优于多 agent 编排或极端的 token 效率，而多轮用户反馈持续提升表现，但无法克服扩展真实世界任务执行的根本性可靠性挑战。

在 OpenClaw 框架下，所有评估模型的总体通过率远低于 50%，凸显了该基准测试的极高难度。开源模型如 Kimi-2.6 和 Qwen-3.5-Plus 在该领域领先，表现优于多个闭源对手。高平均检查点得分与低最终通过率之间的一致差距揭示了一种普遍的"半途失败"模式：模型取得部分进展，但很少成功完成任务。Kimi-2.6 和 Qwen-3.5-Plus 在测试模型中取得了最高的总体通过率，超越了闭源替代方案。所有模型在 Multimodal 和 Cross Platform 任务上表现最差，通过率接近零，而 Exploration 任务的成功率最高。每个模型都表现出平均检查点得分与最终通过率之间的巨大差异，表明部分进展很少转化为完全验证的任务完成。

框架设计决定性地塑造了 agent 的表现。OpenClaw 的集中式架构通过保留完整的任务上下文实现了最高的通过率，而 EDICT 的多 agent 设置产生了较高的平均得分，但因协调故障导致任务无法完成。Nanobot 提供了极致的 token 效率，但常常无法生成满足严格通过标准所需的完整解决方案。OpenClaw 在两个模型上均取得了最高的总体通过率，Claude Opus-4.8 达到 0.475，而 EDICT 为 0.415，Nanobot 为 0.385。EDICT 在平均得分与通过率之间的差距最大，表明任务经常取得部分进展，但由于多 agent 交接摩擦而未能通过最终验证。

OpenClaw 基准测试极具挑战性，所有模型的总体通过率都很低，并且普遍存在半途失败模式，即部分进展很少转化为已完成的任务。开源模型如 Kimi-2.6 和 Qwen-3.5-Plus 的表现优于多个闭源替代方案，集中式框架设计（OpenClaw）通过保持任务上下文和避免协调故障，超越了多 agent（EDICT）和 token 高效（Nanobot）方法。Multimodal 和 cross-platform 任务对所有系统而言几乎无法完成，而 exploration 任务的成功率最高。