一句话总结

作者介绍了 JarvisHub，一个画布原生创意 Agent 框架，它将可编辑画布转化为共享项目状态、外部记忆和动作空间，通过类型化的节点和链接、三层架构以及人类可操纵的自动化，支持长程多模态创作，从而超越了孤立的工具使用和线性交互。

核心贡献

• JarvisHub 是一个画布原生 Agent 框架，它将创意项目建模为由类型化节点和链接构成的可编辑图，作为共享工作空间、外部记忆和动作空间，支持长程多模态创作。
• 该开放框架支持项目状态基准测试、过程级评估协议（衡量上下文保持、工具使用的适当性和修复成功率）以及用于训练未来创意 Agent 的结构化轨迹数据。
• 在叙事媒体生成、交互式网页开发和演示文稿生成上的定性展示表明，JarvisHub 支持可检查和可复用的 Agent 工作流，记录的轨迹还捕获了画布状态和 Agent 动作，用于评估和模型改进。

引言

多模态生成模型目前已能生成高质量的图像、视频、音频和UI资产，但真正的创意工作涉及不断变化的项目状态，其中充满参考文献、草稿、修订和反馈，而这些很难被单提示工具、线性聊天 Agent 或手动连线的节点编辑器捕获。先前的系统要么隐藏这些项目上下文，将其限制在聊天线程中，要么将其锁定在封闭的商业产品内，这使得研究 Agent 如何在长程创意工作空间中维持和推理变得困难。作者通过 JarvisHub 弥补了这一差距，这是一个画布原生创意 Agent 框架，它将画布视为一个共享的、可编辑的项目图。它提供了一种分层架构——画布状态存储、用于验证 Agent 动作的协议桥接器，以及用于工具使用和轨迹记录的 Agent 运行时——从而使 Agent 能够检查、修改和扩展项目状态，同时保持对每个决策的可见性。

方法

作者提出了 JarvisHub，一个为长程多模态创作设计的画布原生 Agent 框架。该系统不依赖聊天历史，而是将画布视为主要项目记忆，存储产物、依赖关系、修订、反馈和中间结果。如下图所示，每一轮都遵循一个结构化循环：运行时观察画布、解读用户输入、通过协议桥接器选择一个允许的动作、调用必要的能力，并将观察结果写回画布。

画布状态充当用户编辑、Agent 读取或更新的共享项目对象。在第 $t$t 轮，一个创意项目被表示为 $\mathcal{C}_t = (\mathcal{G}_t, \mathbf{X}_t, \mathbf{M}_t, \mathbf{U}_t, \mathbf{L}_t)$Ct​=(Gt​,Xt​,Mt​,Ut​,Lt​)，其中 $\mathcal{G}_t = (\mathcal{V}_t, \mathcal{E}_t)$Gt​=(Vt​,Et​) 是一个类型化的产物图。这里 $\mathcal{V}_t$Vt​ 表示画布节点集合，$\mathcal{E}_t$Et​ 表示有向的类型关系（如引用使用、版本谱系或生成依赖）。$\mathbf{X}_t$Xt​、$\mathbf{M}_t$Mt​、$\mathbf{U}_t$Ut​ 和 $\mathbf{L}_t$Lt​ 分别存储可编辑内容、来源与元数据、用户交互和空间布局。每个节点 $v_i$vi​ 实例化为 $v_i = (\mathrm{id}_i, k_i, \mathbf{p}_i, \mathbf{x}_i, \mathbf{y}_i, \mathbf{m}_i, s_i)$vi​=(idi​,ki​,pi​,xi​,yi​,mi​,si​)，捕获其标识符、种类、位置、输入、输出、元数据和运行时状态。这种分离确保了产物可寻址、可复用并具有可检查的依赖关系。

为确保画布更新是显式且可恢复的，作者在 Agent 和画布之间强制实施了一个协议桥接器。给定用户查询 $q_t$qt​ 和当前状态 $\mathcal{C}_t$Ct​，桥接器提供一个能力清单 $\Gamma_t$Γt​，并导出一个限制允许动作的执行许可 $\Omega_t$Ωt​。Agent 提议一个动作 $a_t$at​，仅当该动作能够被编码为经验证的工具调用或画布变更时才会执行。最终的观察 $o_t$ot​ 和任何反馈信号 $f_t$ft​ 驱动状态转换：

$$\mathcal{C}_{t+1} = \mathcal{F}(\mathcal{C}_t, a_t, o_t, f_t, r_t)$$Ct+1​=F(Ct​,at​,ot​,ft​,rt​)

其中 $\mathcal{F}$F 是状态转换算子，将接受的动作和证据写入画布，使交互可审计，而非隐藏在语言生成之中。

Agent 运行时将决策转化为有效的画布更新来编排创意任务。如下图所示，运行时根据画布解读请求，按执行许可过滤操作，并调用能力。

这个过程定义了一个被许可的动作空间：

$$\mathcal{A}_t = \mathcal{A}(\Omega_t, \Gamma_t, \mathcal{C}_t, q_t), \quad a_t \in \mathcal{A}_t$$At​=A(Ωt​,Γt​,Ct​,qt​),at​∈At​

运行时将能力分组为工具族，包括画布工具、生成工具和原生工具。它还利用技能支持可复用的创意流程，利用记忆保持跨轮一致性，利用子 Agent 实现并行子任务探索。这些组件共同让工作流能够探索替代方案，同时将状态锚定在画布上。

长程创作需要可执行的反馈。来自用户、评估器或子 Agent 的信号 $f_t$ft​ 决定下一个状态转换，例如从被接受的节点继续、修复失败的节点，或者请求澄清。框架将这些信号与执行上下文一起记录为形式化轨迹：

$$\tau = \{(q_t, \mathcal{C}_t, \Gamma_t, \Omega_t, a_t, o_t, f_t, r_t, \mathcal{C}_{t+1})\}_{t=1}^T$$τ={(qt​,Ct​,Γt​,Ωt​,at​,ot​,ft​,rt​,Ct+1​)}t=1T​

这确保了每一次变更和产物使用都可追溯，以便恢复和未来分析。

实验

JarvisHub 在三个长程创意任务（叙事媒体生成、交互式网页开发和演示文稿生成）上的评测表明，其画布原生框架支持持久的项目上下文和迭代优化。使用 GPT-5.5 作为 Agent 后端，实验产生了工作空间轨迹和最终产物，展示了计划、引用和进度在整个工作流中如何始终保持可检查。定性结果证实，画布在复杂的多步骤交付物中保持了叙事连续性、视觉方向和结构一致性。

JarvisHub 的画布原生框架支持持久项目状态、受控动作、工具执行、反馈引导修订和可追溯性。在叙事媒体生成、交互式网页开发和演示文稿创建上的定性实验表明，这些能力使可检查、连贯的长程工作流成为可能，其中画布保存了上下文、依赖关系和修订历史。持久项目状态将提示、引用、草稿和反馈保留在可编辑画布中，使 Agent 和用户能够回到早期工作而不丢失上下文。反馈引导修订利用人类或模型输入，从被接受的结果继续、局部修复失败节点、请求澄清或停止，从而支持迭代细化。可追溯性记录请求、动作、观察、反馈和检查点，使得整个创作过程可检查和可恢复，所有任务的工作空间轨迹都展示了这一点。

Agent 运行时将其能力分为五个工具族——画布、生成、原生、恢复和 MCP——每个都扮演独特角色，例如更新项目状态、产生产物或使用外部执行。所有族都在统一的清单与许可合约下运行，动作每轮获得许可，由 Agent 调用，并通过同一协议桥接器提交回共享画布，确保没有隐藏状态在画布之外累积。画布工具通过读取、创建、更新和连接节点来管理项目状态，而生成工具则直接在画布上产生图像、视频、音频和合成媒体产物。每一个工具族，包括原生和 MCP 工具，都遵循相同的清单与许可合约，并通过协议桥接器提交结果，使画布成为唯一的项目状态。

评测涵盖三个长程创意任务——叙事媒体生成、交互式网页开发和演示文稿生成——每个都需要规划、引用组织、中间产物、反馈和局部修订。定性结果表明，画布原生环境通过在整个创作工作流中保持叙事连续性、视觉一致性和结构组织，保留了可检查的项目上下文并支持连贯的交付物。叙事媒体生成任务要求在视觉或视听序列中保持身份、风格一致性和跨镜头连续性。交互式网页开发涉及协调布局设计、交互逻辑和前端代码，并进行迭代预览检查和修订。演示文稿生成测试了内容选择、叙事组织、幻灯片布局和跨幻灯片视觉一致性。画布在媒体生成中跨镜头保持叙事和视觉连续性，在网页开发中保持视觉方向和界面一致性，在演示文稿中跨幻灯片保持主题结构和视觉风格。

JarvisHub 的画布原生框架将持久项目状态、反馈引导修订和跨所有工具族的统一清单与许可合约相结合，使可检查、连贯的长程工作流成为可能。在叙事媒体生成、交互式网页开发和演示文稿创建上的定性实验表明，画布保存了上下文、依赖关系和修订历史，在每个任务中始终保持叙事连续性、视觉一致性和结构组织。通过协议桥接器将所有动作和产物提交到共享画布，该环境支持迭代细化并实现完全可追溯性，且不存在隐藏状态。