一句话总结

来自 MMLab、香港中文大学等机构的研究者提出了 CUA-Master，这是一个嵌套双环递归改进框架，将外部世界-数据-模型飞轮与内部开放世界种子生成和自催化传播环相结合，并加入反馈引导的快照回滚重试机制，使 CUA-Master-27B 在 OSWorld Verified 上达到 80.2 分，并在递归迭代中改进数据合成。

核心贡献

• CUA-Master 被提出为一个嵌套双环递归改进框架，其外部世界-数据-模型飞轮纳入开放世界语料，并利用不断演化的模型弱点来指导迭代式数据构建与优化。
• 其内部数据飞轮将来自教学视频的开放世界种子生成与自催化传播相结合，通过视觉-语义双路径机制重建轨迹，并将种子抽象为可复用原语，用于可控合成多样、复杂且可验证的任务；反馈引导的快照回滚重试机制支持可靠且高效的轨迹收集。
• 实验表明，CUA-Master-27B 在 OSWorld Verified 上达到 80.2 分，在 OSWorld 2.0 上达到 36.9 分，在 WeaveBench 上达到 43.9 分，在 Agents’ Last Exam 上达到 25.0 分；同时该框架提高了数据合成质量与效率，并在递归迭代中持续带来增益。

引言

计算机使用 agent（CUA）正在成为自动化真实工作流的一种方式，覆盖图形界面、命令行工具和长程跨应用任务。此前工作受限于单向数据生成和模型训练流程，而递归自我改进方法通常停留在封闭世界，主要依赖模型自身知识并强化既有偏差。合成数据还存在多样性有限、任务复杂度和依赖关系的可控性较弱、以及大规模 rollout 可靠性低等问题。作者提出了 CUA-Master，这是一个嵌套双环递归框架，将外部世界-数据-模型飞轮与内部数据飞轮结合，以支持开放世界探索、视觉-语义轨迹重建、基于原语的任务组合和反馈引导的快照回滚重试。该设计旨在持续纳入外部知识，并利用不断演化的模型弱点来指导数据生成，27B 模型在 OSWorld、WeaveBench 和 Agents’ Last Exam 上取得了具有竞争力的结果。

数据集

作者将数据集构建为一个生成并过滤后的语料库，而不是固定集合：收集开放世界教学视频，转换为种子任务和重建轨迹，然后扩展为合成任务和经过验证的 rollout。

来源与构成

• 视频从 YouTube、TikTok 和 Bilibili 检索。
• 搜索空间通过一个分层应用程序分类法组织，包含 8 个主类别、36 个子领域和 650 多个应用程序。
• 查询将应用程序名称与面向操作的关键词组合，例如 “tutorial”、“how to” 和 “guide”。
• 检索到的视频通过来源标识和规范化标题进行去重。
• 元数据门槛强制检查时长、上传时间新近度、来源可用性以及与分类法一致的应用程序归属。
• 轻量噪声过滤器抑制促销、娱乐、语言学习和偶然出现的软件内容，这些内容不展示计算机使用交互。
• 均匀采样帧通过 Faster-Whisper 使用 Whisper-Large-v3 转录，生成带时间戳的转录文本和分类法元数据。
• Annotator A（通常是一个更强的模型）给出 0 到 5 的 CUA 适用性评分，并预测 CUA 是否存在、轨迹可用性和视觉清晰度。

种子任务挖掘

• 视频由 Annotator A 分割为多模态时间片段。
• 每个片段都有开始和结束时间戳以及任务描述。
• 流水线仅保留可观察的、计算机操作状态连续的区间。
• 介绍、广告、人物解说、仅幻灯片讲解以及其他非操作性内容被排除。
• 单个教学视频可以产生多个独立种子任务。
• 每个种子任务都会根据视觉上下文、叙述、应用程序标识和演示的状态转换推断出一个简洁目标。

轨迹重建与处理

• 未描述显式的空间裁剪策略；视觉处理使用均匀采样帧和帧级外观变化评分。
• 语义路径检测包含操作的小句，例如 “click”、“press”、“scroll” 和 “drag”。
• 视觉路径使用 FFmpeg 检测帧级外观变化，以指示界面转换，例如菜单打开、对话框出现、页面导航或内容更新。
• 时间窗口内重叠的语义和视觉触发成为轨迹边界候选。
• Annotator A 充当动作复核器、动作标注器和轨迹验证器。
• 最终动作包括交互坐标、输入内容和其他按键。
• 重复动作、非操作性变化以及明显的时间或语义不连续会被拒绝。

原语库与合成任务生成

• 种子任务和轨迹被转换为可复用的应用程序级能力原语。
• 每个原语包含关联应用程序、可复用能力、执行前置条件、环境要求和验证器规范。
• 提取的原语被聚合到按应用程序索引的原语库中。
• 语义等价的原语被规范化并去重，而具有不同前置条件、环境要求或验证逻辑的变体则被保留。
• 合成任务通过在复杂度预算和选定应用程序数量下组合兼容原语来创建。
• 当使用一个应用程序时生成单应用程序任务；当使用多个应用程序时生成跨应用程序任务。
• 高质量合成任务被添加到用于特定模型训练阶段的任务集中。

轨迹收集与使用

• 对于每个任务，从 VM 镜像池中实例化环境并进行一次 rollout。
• 如果验证失败或检测到低效，Annotator A 估计最早的状态偏离步，并生成基于执行的反馈。
• 反馈描述失败或低效，而不暴露特权动作解。
• 环境恢复到最新的有效快照，策略保留有效前缀，丢弃不理想的后缀，并以反馈作为提示继续执行。
• 仅保留成功且最高效的轨迹作为最终监督信号。
• 所提供的摘录未指定最终数据集大小或确切的训练/验证混合比例。

方法

方法

作者将交互式计算机使用任务形式化为一个元组

$$\mathcal{T} = (\mathcal{I}, \mathcal{E}, \mathcal{V}),$$T=(I,E,V),

其中 $\mathcal{I}$I 是自然语言指令，$\mathcal{E}$E 是交互环境，$\mathcal{V}$V 是任务特定验证器，用于判断目标是否已达成。在每个执行步骤 $s$s，agent 接收观测 $o_s$os​ 并生成动作序列

$$\mathbf{a}_s \sim \Pi(\cdot \mid \mathcal{I}, o_s, h_s),$$as​∼Π(⋅∣I,os​,hs​),

其中 $\Pi$Π 是 agent 策略，$h_s$hs​ 是交互历史，$\mathbf{a}_s = (a_s^{(1)}, \dots, a_s^{(L_s)})$as​=(as(1)​,…,as(Ls​)​) 是 $L_s$Ls​ 个原子动作组成的批次。由此得到的轨迹为

$$\mathcal{X} = \{o_1, \mathbf{a}_1, \dots, o_S, \mathbf{a}_S, o_{S+1}\},$$X={o1​,a1​,…,oS​,aS​,oS+1​},

随后由 $\mathcal{V}$V 进行评估。

混合动作空间与环境基础设施

该动作空间统一了 GUI 操作和结构化 CLI 操作。GUI 动作由原子鼠标和键盘操作组成，而 CLI 动作执行 shell 命令。两种模态可以在单个轨迹中交错使用，使策略能够为当前状态选择最合适的接口。GUI 观测以截图为基础，CLI 观测以标准化 shell 输出为基础，其中包含命令输出、错误流和执行状态。指针坐标采用与分辨率无关的归一化坐标系统表示，动作接口还支持工具调用。

rollout 基础设施是一个后端无关、配置文件驱动的编排层，用于在 Linux、Windows 和 macOS 上可复现地执行任务。虚拟机镜像通过半自动流水线组装：基础镜像手动准备，然后通过移除应用程序或重新组织桌面布局来程序化生成额外变体。每个镜像都注册在目录中，包含操作系统、版本和应用程序元数据。资源感知调度器通过 VM 槽位限制并发，生命周期钩子管理资源获取、控制器就绪、网络隧道、重置和清理。episode 在不可变基础镜像上运行，并使用一次性可写叠加层，从而支持执行框架引导、任务初始化和临时应用程序状态。

递归飞轮

整体数据生成和训练过程被组织为一个具有两个互补力量的递归飞轮。开放世界种子生成通过发现代表性不足的应用程序、操作和工作流来注入真实世界多样性。自催化传播将这些种子转换为可复用原语，并将其组合为可执行任务和轨迹。更广泛的世界-数据-模型飞轮连接开放世界探索、数据构建、模型改进和反馈驱动的再探索，使模型失败引导后续数据获取朝着代表性不足的工作流和更难任务进行。

开放世界种子生成

开放世界种子生成将教学视频蒸馏为种子任务和重建轨迹。该过程从语料采集开始。使用分层应用程序分类法和面向操作的关键词来查询互联网视频源。检索到的视频进行去重，根据时长、来源可用性等元数据过滤，并由标注模型对计算机使用适用性、交互清晰度和轨迹可重建性进行评分。

种子任务挖掘随后将视频分割为可独立执行的任务。给定带时间戳的转录文本和采样帧，标注模型将视频分解为多模态时间片段：

$$\{\hat{f}_1, \dots, \hat{f}_n\} \xrightarrow{\mathcal{A}} \{(t_i^s, t_i^e, \mathcal{T}_i)\}_{i=1}^{M},$${f^​1​,…,f^​n​}A​{(tis​,tie​,Ti​)}i=1M​,

其中 $t_i^s$tis​ 和 $t_i^e$tie​ 表示片段边界，$\mathcal{T}_i$Ti​ 是简洁的推断目标。介绍、广告、人物解说、仅幻灯片讲解等非操作片段被丢弃。

对于每个种子任务，双路径轨迹重建机制恢复动作序列。语义路径将转录文本拆分为原子子句，并识别表示操作的小句，如 click、press、scroll 和 drag。视觉路径检测帧级外观变化，以指示界面转换。两个信号对齐为一个边界格：

$$\mathcal{C} = \left\{(t_i^{\mathrm{sem}}, t_j^{\mathrm{vis}}) \mid |t_i^{\mathrm{sem}} - t_j^{\mathrm{vis}}| \leq T \wedge t_i^{\mathrm{sem}} \in \mathcal{C}^{\mathrm{sem}} \wedge t_j^{\mathrm{vis}} \in \mathcal{C}^{\mathrm{vis}}\right\}.$$C={(tisem​,tjvis​)∣∣tisem​−tjvis​∣≤T∧tisem​∈Csem∧tjvis​∈Cvis}.

然后，标注模型使用局部转录上下文以及配对的动作前和动作后帧重新检查候选，拒绝非操作变化，细化动作边界，将接受的候选标注为 CUA 动作，并验证最终轨迹。

自催化传播

自催化传播解决了种子数据覆盖有限和潜在标注噪声的问题。其第一阶段是原语化。标注模型从种子任务和轨迹中提取可复用能力原语：

$$\left(\mathcal{T}^{\mathrm{seed}}, \mathcal{X}^{\mathrm{seed}}\right) \xrightarrow{\mathcal{A}} \{p_1, \dots, p_n\}, \quad p_i = (u_i, a_i, \mathcal{P}_i, \mathcal{E}_i, \mathcal{V}_i),$$(Tseed,Xseed)A​{p1​,…,pn​},pi​=(ui​,ai​,Pi​,Ei​,Vi​),

其中 $u_i$ui​ 是关联应用程序，$a_i$ai​ 是可复用能力，$\mathcal{P}_i$Pi​ 是前置条件，$\mathcal{E}_i$Ei​ 是环境要求，$\mathcal{V}_i$Vi​ 是验证器规范。提取的原语被规范化、去重并存储在按应用程序索引的原语库中。

任务合成被形式化为受约束的原语组合。给定复杂度预算 $K$K 和应用程序集合 $\{u_1, \dots, u_N\}${u1​,…,uN​}，该方法通过组合原语数量和涉及的应用程序数量来控制任务难度。组合前会检查前置条件和环境要求之间的兼容性。标注模型实例化一条连贯指令，并整合组件环境和验证器规范：

$$\left(\mathcal{B}(\{u_1, \dots, u_N\}), K\right) \xrightarrow{\mathcal{A}} \mathcal{T}^{\mathrm{syn}} = \left(\mathcal{I}^{\mathrm{syn}}, \mathcal{E}^{\mathrm{syn}}, \mathcal{V}^{\mathrm{syn}}\right).$$(B({u1​,…,uN​}),K)A​Tsyn=(Isyn,Esyn,Vsyn).

这同时支持单应用程序任务和跨应用程序任务。

第二阶段是弹性轨迹收集。与从头重启失败的 rollout 不同，该方法使用反馈引导的快照回滚重试。当验证失败或检测到低效时，标注模型检查验证器残差、已收集轨迹和可执行环境：

$$(\mathcal{T}, \mathcal{X}, \mathcal{E}) \xrightarrow{\mathcal{A}} (\hat{s}, \mathcal{F}),$$(T,X,E)A​(s^,F),

其中 $\hat{s}$s^ 估计最早的状态偏离步，$\mathcal{F}$F 是基于执行的诊断反馈，不暴露特权动作。环境被恢复到 $\hat{s}$s^ 之前最新的有效快照，保留稳定前缀，agent 在反馈条件下继续执行。重试持续到验证通过或重试预算耗尽。仅保留成功且最高效的分支，因此失败和低效的后缀被排除在监督之外。

模型训练

训练被集成到递归飞轮中。早期迭代使用监督微调，基于通过开放世界种子生成和自催化传播收集的已验证轨迹。在第 $i$i 次迭代，训练集聚合所有先前迭代的数据。策略通过自回归目标进行优化，该目标基于以指令和交互历史为条件的可执行动作序列。为了减少优化漂移，每次 SFT 迭代从同一基础检查点开始，并使用累积更新后的数据。

随着 SFT 收益趋于饱和，最后训练阶段切换到强化学习。SFT 训练后的策略在真实可执行计算机环境中针对高质量合成任务进一步优化。由于任务特定验证器在任务合成期间已经构建，基于结果的奖励直接来自执行结果，无需手动奖励标注。该阶段针对长程决策、执行鲁棒性和任务完成。

实验

在涵盖 GUI-only 和混合 GUI+CLI 设置的四个具有挑战性的 CUA 基准上，以及额外的 Windows 和 macOS 基准上，将 CUA-Master-27B 与通用和专用基线在一致评估协议下进行比较。结果表明，它在 GUI-only 任务上达到或超过更大和专有模型，在混合任务上取得特别强的提升，并以显著更低的运行时间实现可比的性能。进一步分析确认，混合 GUI 和 CLI 动作空间同时提高了任务分数和执行效率，数据飞轮带来广泛的任务覆盖和更高的 rollout 成功率，迭代世界-数据-模型训练产生逐步提升，尤其是在强化学习后的长程基准上。

CUA-Master-27B 在全部四个评估基准上均优于同规模专用模型 UI-Mate-27B，其中在 WeaveBench 和 Agents’ Last Exam 上提升最大。在 Qwen 通用基线中，Qwen-3.8-Max 取得最高的 OSWorld 分数，而各模型效率有所不同。CUA-Master-27B 还展现出较强的混合 CUA 性能，在最具挑战性的基准上仅落后于少数领先模型，并在 GUI-only 任务上与更大模型保持竞争力。CUA-Master-27B 在所有评估基准上均较 UI-Mate-27B 有所提升，尤其是在 WeaveBench 和 Agents’ Last Exam 上。Qwen-3.8-Max 在所列通用模型中于 OSWorld Verified 和 OSWorld 2.0 上领先，而 Qwen-3.8-27B 在 OSWorld 2.0 上提升显著，但在 WeaveBench 上仍较低。CUA-Master-27B 在混合 CUA 场景中优于源自 Qwen-3.5-27B 的模型，并在 GUI-only 基准上与更大的 Qwen-CUA-397B-A17B 保持竞争力。

CUA-Master-27B 展现出较强的跨平台泛化能力，在比较方法中取得了最佳的 MacOSWorld 结果和第二佳的 MacAgentBench 结果。其 WindowsAgentArena 性能略低于最佳模型，但仍接近领先群体。总体而言，它在 Windows 和 macOS 基准上均保持具有竞争力的分数。CUA-Master-27B 取得最高的 MacOSWorld 分数，略微超过次优模型。在 MacAgentBench 上，它总体排名第二，同时领先于所列其他 27B 至 32B 规模模型。其 WindowsAgentArena 结果与最佳条目相当，仅落后于表现最好的模型。

所提出方法在每一个报告的难度设置下，rollout 成功率均超过基线，从简单单应用程序任务到复杂多应用程序任务均如此。随着任务复杂度增加，差距扩大，基线急剧下降，而所提出方法保持显著更高的成功率。在与 Agents’ Last Exam 可比的设置中，所提出方法达到近 50% 的成功率，而基线为 14.6%。随着原语和应用程序数量增加，两种方法的成功率均下降，但基线的下降幅度更大。在 3 个应用程序、40 个原语的中等复杂度下，所提出方法达到约 50% 的成功率，是基线的三倍以上。在最难的列出条件下，所提出方法保持 30% 以上的成功率，而基线降至 2% 以下。

该评估在 GUI-only、混合 CUA 以及跨平台 Windows 和 macOS 基准上，将 CUA-Master-27B 与同规模专用模型、Qwen 通用基线以及更大的 CUA 系统进行比较。CUA-Master-27B 始终优于 UI-Mate-27B，在可比模型中领先或保持竞争力，并相对于更大模型仍然有效。rollout 实验进一步表明，其相对基线的优势随任务难度增加而扩大，尤其是在复杂多应用程序和高原语数量设置下，基线会急剧下降。