一句话总结

来自哈尔滨工业大学、深圳环区研究院和AI训练平台的研究者提出了KnowAct-GUIClaw，一个结合自演化记忆与技能库的Know-Route-Act-Reflect框架，克服了OpenClaw的跨平台GUI自动化限制，在长时程MobileWorld基准上使用Kimi-2.6取得$64.1\%$64.1%，超越所有agential框架和Seed-2.0-Pro、GPT-5.5等闭源模型，并实现可迁移知识与技能增益，Kimi-2.6提升$8.5\%$8.5%，Qwen3.5-35B-A3B提升$16.2\%$16.2%。

核心贡献

• KnowAct-GUIClaw框架通过Know-Route-Act-Reflect流水线解耦任务编排与视觉操控，其中host agent规划长时程任务，可插拔的GUI subagent在Android、iOS、HarmonyOS和Windows上执行。
• 系统融入归因感知的持久经验记忆和状态验证的自演化技能库，累积用户反馈与经验证例程，在无需更新权重的情况下持续改进任务分解与工具调用。
• 大量实验表明，以Kimi-2.6驱动的GUIClaw在MobileWorld基准上达到64.1%，优于所有先前agentic框架和Seed-2.0-Pro、GPT-5.5等闭源模型；记忆与技能模块可跨基座模型迁移，为Kimi-2.6带来+8.5%增益，为Qwen3.5-35B-A3B带来+16.2%增益。

引言

基于LLM的个人助手正从单轮对话演进到管理持久的跨应用任务。然而，许多现实世界请求需要与图形用户界面交互而API不可用，简单地将独立GUI agent嫁接至宿主框架会导致脆弱行为：自由文本摘要丢失跨应用转换的中间数据，部分屏幕观察隐藏关键上下文，先前的任务轨迹被丢弃而非重用，更快的非视觉快捷方式未被利用。作者提出了KNOWACT-GUICLAW，将高层协调宿主与轻量级GUI executor配对。它将决策根植于可检索的结构化记忆和自演化技能库，使系统能够跨应用规划、恢复停滞任务、对照实时屏幕状态验证快捷方式，并持续将成功轨迹提炼为可复用知识。

方法

作者提出KNOWACT-GUICLAW，一个以host agent为中心的多agent框架，将长时程移动GUI任务执行组织为四阶段循环：Know、Route、Act和Reflect。该架构分离高层任务管理与低层设备交互，将中央协调器与专门GUI subagent配对。host agent负责面向用户的任务编排和长时程上下文维持，而GUI subagent作为专注于低层设备控制的独立引擎运作。

在Know阶段，系统在任何GUI动作前主动收集上下文。host agent维护运行中会话上下文，仅在相关时召回存储记忆，如会话历史与用户画像。先前GUI记忆和候选技能通过语义相似度检索并保持建议性，绝不覆盖当前指令，而策略记忆直接注入。这种建议性角色使系统能基于过去经验纠正应用和路线选择，而不会替代实时屏幕证据。

Route阶段处理任务分解与信息契约。路由策略输出单一GUI任务或有序多应用工作流。在多应用情况下，每个子任务定义为目标层元组$(g_i, h_i, I_i, O_i)$(gi​,hi​,Ii​,Oi​)，其中$g_i$gi​是应用范围内的目标，$h_i$hi​可选地缩小应用范围，$I_i$Ii​命名所需输入，$O_i$Oi​命名需返回的值。为管理跨应用数据流，系统采用短生命周期黑板$B$B。子任务仅看到已在$B_{i-1}$Bi−1​上的声明输入，且仅其声明的输出从轨迹证据写回： $G(g_i, h_i, B_{i-1}[I_i]) \rightarrow \tau_i, \quad E(\tau_i, O_i) \rightarrow B_i[O_i].$G(gi​,hi​,Bi−1​[Ii​])→τi​,E(τi​,Oi​)→Bi​[Oi​]. 若必要输入或声明输出缺失，工作流将安全终止，而非在不完整状态下运行。

这种黑板介导的执行确保跨应用任务仅传递声明输出，减少每个GUI任务的历史保存需求，并让后续目标与明确输入绑定。

在Act阶段，GUI subagent在混合动作空间$\mathcal{A} = \mathcal{A}_{\text{gui}} \cup \mathcal{A}_{\text{skill}} \cup \mathcal{A}_{\text{shortcut}} \cup \mathcal{A}_{\text{ask}}$A=Agui​∪Askill​∪Ashortcut​∪Aask​上执行每个已路由子任务。该空间包括类人GUI原语、蒸馏技能、绕过冗长导航的Android深度链接和意图，以及用于用户输入的干预动作。executor运行有基础的观察-推理-动作循环： $p_t \rightarrow o_t \rightarrow a_t \rightarrow e_t \rightarrow o_{t+1},$pt​→ot​→at​→et​→ot+1​, 其中$p_t$pt​是携带子任务和黑板状态的提示，$o_t$ot​是观察，$a_t$at​是动作，$e_t$et​是结果。技能和快捷方式在使用前需针对当前状态验证，以平衡效率与可靠性。

最后，Reflect阶段进行轨迹蒸馏和技能演化。每次GUI任务后，反思将轨迹浓缩为简短备注以用于检查点。对于选定轨迹，系统提取可复用过程而非存储原始动作。视觉LLM将GUI事件重写为结构化证据以生成候选技能，这些技能被标准化并检查支持的动作和有效状态覆盖。系统将修复与新提取分离；当复用技能失败时，反思就地在原技能上更新，通过收窄描述或刷新过时目标。此外，经验记忆存储从运行轨迹派生的文本策略，使用独立的成功与失败提示导出可操作记忆条目，指导未来的路由和GUI执行。从应用清单挖掘的快捷方式候选需经过验证运行，以确保可用性和页面状态，然后提升为一步技能。

实验

KNOWACT-GUICLAW在MobileWorld和AndroidDaily上评估，通过host agent-路由、经验记忆和可执行技能分解长时程任务。消融实验表明，host协调和记忆在适度token开销下提高成功率，技能减少步骤和token，记忆与技能均可跨模型族迁移。案例研究展示了路由、记忆纠错、技能压缩和host恢复如何实现稳健的跨应用工作流，而在HarmonyOS和Windows上的跨平台检查则揭示了剩余的接地与控制挑战。

KNOWACT-GUICLAW组合host模型、经验记忆与技能，相比基础executor大幅提升GUI任务成功率。最佳配置（以Kimi-K2.6同时作为host和executor并启用技能）达到64.1%成功率，超越所有列出的通用模型。从Kimi-K2.6轨迹蒸馏的知识迁移至Qwen executor，将其成功率从24.8%提升至41.0%，证明了跨模型可迁移性。增加带有经验记忆和技能的host持续提升成功率；启用技能还减少了GUI步骤和总token数。以Kimi-K2.6作为host和executor，KNOWACT-GUICLAW达到64.1%成功率，在该基准上优于GPT-5.5和Gemini-3.1-Pro等通用模型。从Kimi-K2.6轨迹蒸馏的经验记忆和技能迁移到Qwen 35B executor后，成功率较单独基础executor提高了16.2个百分点。

添加host协调和经验记忆提升了35B和397B executor在MobileWorld GUI-Only任务上的成功率，而总token消耗基本持平或仅小幅增加，因为增益来自更好的任务分解而非更多GUI观察。启用技能进一步减少GUI步骤和总token，成功率依然提升，当强力host直接解析子任务时节约幅度更大。经验记忆和技能可跨模型族迁移，使用Kimi蒸馏的记忆和技能的35B executor达到比自身原增强配置更高的准确率。host和记忆在两类executor规模上均提升成功率，小模型从24.8升至34.5，大模型从40.7升至43.3，同时小executor的总token基本不变，大executor约增加7%。技能减少GUI步骤和总token；对397B host，步骤从26.8降至23.7，总token下降约5%，成功率依然上升。397B host的host开销远低于35B host（占总token不足4% vs约23%），因为强力host可直接处理子任务，而非全部委派给较弱executor。记忆与技能的跨模型迁移有效：使用Kimi-K2.6蒸馏记忆与技能的35B executor达到41.0成功率，优于其自身host-记忆-技能设置的37.9。

在涉及技能调用的任务上，启用技能使每个任务减少约三个GUI步骤，总token降低约6%，单次运行成功率提升，对小executor的成功率增益更大。技能在35B和397B executor上均稳定缩减3.3个GUI步骤/任务，总token约节省6%。35B executor从技能中获得4.9个百分点的单次成功率提升，而397B executor为1.9个百分点，pass@3基本持平。

在AndroidDaily基准上，所提模型总体端到端成功率最高，尤其在分析和复杂（Comp.）任务上对纯GUI基线优势最强。已解析与全部评估之间的性能差距表明，应用不可用和环境不匹配造成的失败占据相当比例，而非仅是策略质量。在分析任务上，已解析模型达到81.25%，而最强基线为61.41%。复杂任务同样领先，已解析模型为75.00%，基线约60–62%。将不可用任务计为零分（全部设置）使总成功率从80.56%降至68.40%，凸显应用和环境缺口对端到端可靠性的影响。

从配置A到F，单次运行成功率稳步从24.8%升至46.2%，允许三次重复中任一次成功则将上限提升至最佳配置的59.8%。更严格的三次全部成功指标从15.4%增至32.5%，确认改进具有一致性，并非由大幅随机波动导致。任取三次运行中一次成功，相比单次运行，任务解决几率几乎翻倍，最高配置达59.8%。要求三次全部成功得到较低但持续提升的比率（15.4%至32.5%），表明控制可靠性的进步未伴随不规律波动。

实验评估了将协调host模型、经验记忆和可复用技能增强基础executor的GUI任务执行框架在MobileWorld和AndroidDaily上的表现。添加host协调和记忆在不同executor规模上持续提升成功率且token开销极小，启用技能进一步减少GUI步骤和总token，尤其对较弱executor更显著。蒸馏记忆与技能的跨模型迁移有效，使较小executor超越其原生增强配置。端到端部署分析揭示应用不可用和环境不匹配是主要失败来源，多次尝试可靠性检查确认改进具有一致性而非偶然。