一句话总结

上海交通大学及合作机构的研究者提出了一个以工作为中心、系统级框架，将工作 agent 视为由基础模型与运行时 harness 组合而成的系统，引入工作持续性（work persistence）和工作开放性（work openness）两个维度，将数字工作划分为五种形式，识别出五个核心能力族，并分析模型优化、harness 优化及二者联合优化，以及以结果为中心的评估，以支持可靠、可验证的工作执行。

核心贡献

• 本文提出一个以工作为中心、系统级框架，将工作 agent 视为由基础模型与运行时 harness 组成的系统，在有状态工作区中执行任务并交付可验证结果，并引入工作持续性（work persistence）和工作开放性（work openness）作为刻画工作条件的两个互补维度。
• 本文根据任务范围和组织方式将数字工作划分为五种形式，识别可靠工作执行所需的五个核心能力族，并考察模型优化、harness 优化及二者联合优化。
• 本文从工作结果视角分析现有评估方法和指标，并讨论未来研究方向，包括持续工作委托、开放环境适应，以及工作执行与能力提升之间的交互。

引言

作者将研究置于从短期、窄范围的 agent 任务向跨软件工程、办公生产力、企业运营和科学研究的委托式数字知识工作转变的背景中。在这些场景下，agent 必须在多个阶段保持目标，并将决策建立在分散于文件、应用程序和先前操作中的证据之上，因此孤立的模型输出或单次工具调用不足以作为分析单元。长时程、计算机使用和办公 agent 等先前范式各自只强调这一过程的一个方面，在如何表示持久委托责任、开放或欠指定任务条件以及可验证工作结果方面留下空白。为此，作者提出一个以工作为中心的框架，围绕工作 agent 的概念构建，并通过六个相互作用要素（任务、模型、harness、工作区、工作结果和验证）定义，同时引入工作持续性和工作开放性作为组织能力、优化、评估和持续委托的维度。

数据集

作者描述的是一组工作区级别的基准与训练资源，而非单一固定数据集。主要数据产物包括工作环境、语料库、轨迹和验证检查。

来源与组成

• 来源材料包括文档、电子表格、消息历史、代码仓库、关联业务记录、公开源文件、教程、企业模式、移动界面转换以及已完成的工作产物。
• 作者围绕跨文件和应用程序的依赖关系构建任务，使 agent 必须定位相关对象、检索页面、比较来源或从多种材料中推导结果。
• 具名示例资源包括：
  • Workspace-Bench：任务要求在异构工作区内容中识别相关对象及其依赖关系。
  • GraphForge：将跨检索文件的证据表示为图，然后生成指令和带来源链接的评分标准；在 2,153 个选定任务上保留 2,169 条训练轨迹。
  • WorkGenesis：利用公开源文件和合成附属附件构建职业性请求。
  • OfficeQA Pro：全语料任务要求找到回答问题所需的页面。
  • DRBench：基于应用程序的任务要求为企业研究报告检索企业材料。
  • ViDoRe with ColPali：检索可能需要阅读页面图表和布局。
  • daVinci-Env：从代码仓库重建软件任务。
  • Spreadsheet-RL：使用配对工作簿和 Excel 运行时。
  • WorkForge：从专家工作流计划出发，检索真实文件，并识别用于指导指令、解决方案计划和检查的事实；构建 16,665 个任务。
  • WorkBorne：围绕产物转换组织任务，从 1,061 个产物语料库中生成 7,882 个任务环境和 15,485 条轨迹。
  • CoworkEnv：联合生成请求、服务记录、完成检查和允许的操作，并在收集教师轨迹前验证一致性。
  • CompoWorld：构建可复用的多服务环境，具有类型化状态、通用接口和采样依赖图。
  • AgentTrek、EnterpriseLab、TDScaling 和 SEE：收集网络交互、企业工具依赖、业务场景和移动界面转换轨迹。

任务与元数据模式

• 每个训练任务通常包括初始工作区、可用操作、请求和用于评估结果的检查。
• 任务通过工作流、证据图、带来源链接的评分标准或产物转换引用，锚定于工作材料中。
• 任务、工作区和轨迹标识符被保留，用于覆盖分析和基于共享来源的数据划分。
• 在若干资源中表示共享和变化的状态，例如更新的客户记录、修订的工作簿、有状态用户以及多服务依赖。

处理与过滤

• 流水线验证任务可完成，并验证检查器接受正确结果并检测错误。
• WorkForge 结合程序化和语义检查；在匹配的 1K 轨迹设置中，组合检查达到 22.11 的 ALE 分数，而仅语义选择为 15.62，仅程序化选择为 14.89。
• GraphForge 使用损坏审计：删除工作表会使目标评分标准分数降低 0.377，而更细粒度的行级、数值和引用错误在 0 到 1 的尺度上变化小于 0.03。
• 产物检查过滤成功结果，但保留失败尝试，以用作恢复和状态跟踪示例。
• 数据选择也通过下游训练评估，例如 OpenThoughts-Agent 在匹配 token 预算下比较任务来源、教师、数据混合和过滤，CurateEvo 利用开发集失败改进增强和过滤。
• 构建与开发数据与留出评估任务分开。当任务共享文件时，按工作区或来源族划分以测试泛化。

数据使用方式

• 环境提供交互任务，语料库提供相关知识，轨迹记录观察、操作和结果，用于监督微调和强化学习。
• CoworkEnv 教师演示用于 SFT，将平均 Claw-Eval 分数从 46.6 提升到 64.1，而相同环境支持学生 RL 比较。
• WorkForge 将训练轨迹从 1K 扩展到 16K，使 ALE 提升 13.0 分，WildClaw 提升 8.4 分。
• WorkBorne 比较更广泛的产物覆盖与每语料更多转换；在 1K、3K 和 5K 轨迹时，更广泛覆盖表现更好，而在 8K 时两种策略趋于相近。
• 在 CompoWorld 中，使用相同主干和训练过程的 1K SFT 轨迹，将 AutomationBench 成功率从单服务环境的 12.83% 提升到组合多服务环境的 33.33%。

方法

作者提出一个面向工作 agent 的综合框架，定义其核心能力、所承担的工作形式，以及构建这些系统所需的系统优化过程。

该架构的基础是一个由五个核心能力构成的循环，agent 使用这些能力来解释任务、组织操作并验证效果。如更新业务报告的框架图所示，这些能力包括：感知与理解，解释对象及其关系；推理与决策，权衡目标与约束；规划与协调，安排步骤之间的依赖；执行与状态管理，通过工具对工作区执行操作并记录进展；验证、恢复与重规划，确认结果并指导纠正。这些功能以循环而非线性流水线的方式运作，通过共享工作上下文交互，该上下文保留任务要求、证据、计划和观察到的状态。

对这些能力的要求取决于所委托工作的范围。作者将工作分为五种形式，从对话级（Conversation Level）开始，agent 在该级别生成信息性结果；到原子操作级（Atomic Action Level），涉及对工作对象的局部操作。复杂性在多步级（Multi-step Level）增加，agent 协调依赖操作；在工作流级（Workflow Level），agent 按程序阶段推进。在工作区级（Workspace Level），agent 必须在没有明确说明的情况下发现并管理跨文件、记录和应用程序的关系。如下图所示，近年的代表性任务设置被映射到这些所需的最广泛形式，表明 agent 职责范围不断扩大。

为培养这些能力，作者提出一种针对模型和 harness 的系统优化方法。如下图所示，训练环境、语料库、轨迹和结果反馈为系统的候选变更提供信息。模型优化更新已学习的知识和行为，而 harness 优化改进接口、工作流、记忆和技能。联合适应协调两个组件之间的变更，优化器提出并测试更新，可能通过递归自我改进实现。在收集有用轨迹之前，训练环境中的缺陷也可能需要修复。

模型优化通过三个不同阶段发展必要的知识和决策能力。如下图所示，预训练通过对多样化工作材料进行下一 token 预测，构建广泛的语义、计算和视觉知识。中期训练通过处理交互历史并执行状态重建，丰富领域知识并引入交互模式和长上下文使用。后训练使用演示、执行奖励、教师指导和累积反馈来强化行为，以监督决策、轨迹和产物。

除模型之外，harness 提供必要的外部支持。观察和操作接口决定 agent 可以检查什么，以及如何将决策转化为操作。工作流组织执行、验证和恢复，而记忆和技能在交互之间保存任务进展和可复用过程。agent 的有效性在很大程度上取决于模型与 harness 之间的耦合。如下图所示，当前 harness 塑造用于训练模型的经验，而模型更新随后可能推动 harness 调整。优化器提出对模型权重、harness 配置或训练环境的候选变更，并针对兼容版本和留出工作进行测试。该过程支持模型-harness 联合适应和递归自我改进，使系统能够随时间演化其优化过程并适应不断变化的工作条件。

实验

这些实验通过从专家设计的任务、真实请求、交互式环境和专业工作区构建基准来评估工作 agent，然后在答案、产物、环境状态或工作流层面通过基于规则的检查、LLM 或 agent 评判器以及专家评估来判断结果。实验验证，在数据科学、文档与产物创建、旅行规划和运营变更中，最终目标依赖于中间结果，且验收标准必须与工作对象匹配。发现强调，基准分数与任务构建、harness 配置、验证方法和成本相关，因此性能应结合执行成本和经济价值来解释，而不是作为孤立的能力度量。

持续性和开放性对五个核心能力提出不同要求。持续性要求各项能力跨时间运作：重新感知变化的状态、重新审视决策、跨越交接和事件、保持持久状态，以及重新验证受影响的结果。开放性要求在执行过程中进行发现：找到相关对象和关系、决定是否收集更多信息、识别依赖和参与者、建立接口和权限，以及判断哪些来源可算作证据。持续性将核心能力推向连续性和重新检查，包括重新感知状态、重新审视决策、跨越等待期、保持持久状态和重新验证结果。开放性将核心能力推向运行时发现，包括找到相关对象、选择执行还是收集信息、识别依赖、建立权限以及选择证据来源。

比较使用业务报告更新任务来展示长时程 agent、计算机使用 agent、办公 agent 和工作 agent 各自追踪同一委托工作的不同层面。相关范式是互补的，可以在一个系统中组合，工作 agent 视角整合任务要求、工作区状态、进展、结果和证据。长时程 agent 侧重于通过跟踪进展、先前结果和待处理依赖，在多个步骤中持续工作。计算机使用 agent 通过跟踪目标、界面状态和操作效果，将操作锚定在软件界面中。办公 agent 在创建或更新工作簿、报告和幻灯片等产物时，跟踪内容、结构、布局和跨产物链接。工作 agent 跟踪要求、工作区状态、进展、结果和验证证据，以将委托工作推进到被接受的结果。这些范式互补而非互斥，当委托任务需要多层跟踪和执行时可以组合。

在五种工作形式中，能力需求从产生有支持的响应或局部变更扩展到协调多步、工作流和工作区依赖。感知、推理、规划、执行和验证从局部证据和效果转向共享状态、程序规则以及对象之间的关系。验证同样从检查输出有效性扩展到验证阶段转换、来源血统、新鲜度和依赖关系。随着工作从对话和原子操作转向工作流和工作区职责，能力需求不断扩展。感知从解释所提供的证据转向发现相关对象、关系、版本和权限。规划与执行从局部行动路径转向协调阶段、交接、后果性转换和对象一致性。验证从确认局部效果和输出有效性扩展到检查阶段转换、来源血统、新鲜度和依赖关系。

工作 agent 经验构建涵盖几种不同机制：从仓库或工作簿变更重建任务，利用能力需求和职业活动引导收集，利用专家工作流和产物转换，连接数据库与工具接口，以及组合依赖任务链或服务图。这些机制产生训练输入和反馈，例如初始工作区、带材料的职业请求、源文件、带状态变化的可执行任务，以及需要先前操作输出的工作流。其共同重点是可执行操作、可检查结果和任务间依赖。一些方法从仓库变更或配对工作簿重建任务，并提供可检查结果作为学习信号。能力需求和职业活动在 NexForge 和 WorkGenesis 等方法中引导任务与资源收集。专家工作流和产物转换从真实文件创建任务，产生源材料、依赖操作和预期输出。若干系统连接数据库、业务实体和工具接口，以生成具有相关记录和变化状态的可执行任务。依赖任务链和任务图组合工作流，这些工作流需要来自先前操作的信息和结果。

被比较的方法涵盖构建或修复交互式环境，以及整理用于训练的演示或轨迹。面向环境的方法通过有状态用户输入、工作流约束以及对不兼容组件的诊断或修复来增加真实感。面向数据的方法强调经过验证、保持依赖、上下文丰富的轨迹，以及根据下游迁移选取的混合。环境构建的范围包括在固定要求下验证请求、记录、工具和检查，回放并修复不兼容组件。轨迹整理倾向于选择将指令与已验证操作关联、保留数据依赖、包含失败尝试或通过下游训练迁移过滤的演示。

评估采用跨概念和任务设置的定性比较。一项比较考察持续性和开放性如何对五个核心能力施加不同要求，持续性强调连续性和重新检查，而开放性强调运行时发现。业务报告更新任务显示，长时程、计算机使用、办公和工作 agent 跟踪委托工作的互补层面，跨工作形式的比较显示能力需求从局部输出扩展到工作流和工作区依赖。进一步比较刻画了构建工作 agent 经验的机制，并对比面向环境的真实感与修复和面向数据的轨迹整理。