一句话总结

作者提出了 LingBot-World 2.0（LingBot-World-Infinity），一个先进的 world simulator，通过 causal 预训练范式实现无界交互时域，融合了一个蒸馏的实时 1.3B 模型，以 60fps 生成 720p 视频，具备多样化的交互元素，包括攻击、射箭、施法、射击等动作，以及更丰富的文本驱动事件，并引入了一个由 pilot agent 和 director agent 组成的 agentic harness，全部可部署在单个 GPU 上，支持同时多人沉浸式体验。

核心贡献

• LingBot-World-Infinity 是一个开放的 causal world model，通过 causal 预训练范式，在保持视觉质量和漂移抑制的同时，维持无界交互时域。
• 一个实时蒸馏版本以 720p 和 60 fps 渲染一个无界、无漂移的交互式世界，经超过一小时的连续生成验证，无质量损失。
• agentic harness 结合了负责角色行为规划的 pilot agent 和负责合成环境元素的 director agent，支持多样化的动作空间（战斗、射箭、施法、射击）以及动态的文本驱动事件（如天气变化），创造出自我维持、目标导向和开放式的交互体验。

引言

能够根据实时输入合成视频帧的交互式世界模型，为动态游戏生成和具身模拟提供了一条引人注目的路径。然而，先前的工作在长时域稳定性方面存在困难：误差会累积，场景在几分钟内就会退化，而高保真度的交互性在计算上仍然令人望而却步，常常导致只能在低分辨率下进行粗略的相机控制。作者通过训练一个能强力抑制漂移的 causal 视频生成主干网络，然后从中蒸馏出一个实时模型，该模型以 720p 和 60 fps 维持一个无界、无漂移的世界，从而同时解决这两个挑战。一个 agentic harness（其中 pilot agent 选择角色动作，director agent 生成新内容）将帧预测器转变为自我维持、开放式的体验，具有丰富的交互性，如战斗、射箭、施法和动态环境变化。

数据集

作者从三个互补的视频来源构建了一个统一的训练数据集，然后对其进行过滤、分析和标注，以支持一个必须响应时变指令和控制信号的交互式世界模型。

数据来源和初始标准化

• 自我中心视频：自采集的第一人称镜头，捕捉自然的手-物交互和真实世界动态。
• 合成数据：从游戏和虚幻引擎环境中生成的剪辑，提供准确的场景几何信息和时间对齐的控制信号（跳跃、攻击、驾驶、飞行）。这些信号对于学习可控的状态转换至关重要。
• 网络视频：大规模真实场景内容，提供开放域覆盖和长尾视觉多样性。
• 所有原始视频在进行下游处理前，都会被标准化为一个共享的元数据记录，其中包含来源信息和基本属性。

分析与过滤流程

• 使用 TransNet V2 检测镜头边界，并将长视频分割为时间上连贯的片段。
• 如果片段在时长、分辨率或解码稳定性上无法满足基本约束，则被移除。
• 一个技术评分过滤器综合考量视觉质量、亮度范围、基于 OCR 的文本占比、运动统计和编码稳定性，以丢弃明显不合适的样本。
• 剩余的候选片段由一个视觉语言模型（VLM）从两个维度进行分析：
• 质量属性：编辑伪影、模糊的视觉证据。
• 语义属性：视点、活动类别、交互模式。
• VLM 分析结果随后用于数据平衡和提示路由。

多维标注设计

• 该流程生成 视频级全局描述（整体场景、任务上下文、交互轨迹）和适用于时间片段的 分块局部描述。
• 对于每个分块，标注流程使用 多轨事件级标注：
• 解耦的轨道独立捕获主体可见性、运动状态、交互状态、环境动态和静态场景状态。这避免了合并不相关的变化。
• 当可用的时，时间对齐的控制信号作为边界线索的辅助证据，但最终的描述严格基于可见内容，以防止推测。
• 活跃的轨道状态被组合成分块描述，然后进行优化，以提高术语一致性、时间平滑度，并移除揭示未来信息或冗余的表达。

数据在模型中的使用方式

• 创建该数据集是为了解决训练-推理不匹配问题：模型必须实时遵循局部指令，因此训练需要全局上下文和分块级别的监督。
• 视频级描述提供总体的语义上下文，而分块描述提供每个片段的状态描述，帮助模型捕获场景动态、交互结果和控制敏感的转换。
• 混合来源的语料库，在经过分析和分层标注后，用于训练交互式世界模型；其构成和过滤统计数据在论文的表 1 中记录。

方法

作者将交互式世界模拟器形式化为沿时间轴的 causal 生成过程，遵循"果不先于因"的原则。在此 causal 假设下，每个状态仅依赖于其历史上下文和当前的用户输入，从而得到以下因式分解：

$p_{\theta}(x_{1:T} \mid a_{1:T}) = \prod_{t} p_{\theta}(x_{t} \mid x_{<t}, a_{\le t})$pθ​(x1:T​∣a1:T​)=∏t​pθ​(xt​∣x<t​,a≤t​)

其中 $\theta$θ 参数化了世界的转换和动态。为实现这一点，作者开发了 LingBot-World-Infinity，它接收初始帧并与用户输入流进行交互，从而自回归地实时生成一个无限、无漂移的世界。

训练过程分为两个阶段：一个预训练阶段，学习一个 causal、动作条件的 world model；以及一个后训练阶段，将模型蒸馏为实时生成器，同时抑制长时域漂移。

在预训练阶段，作者训练了一个能够生成具有高视觉保真度的无限、动作可控视频的 causal world model。该架构支持两种形式的用户输入作为动作：相机位姿和文本提示。相机位姿使用 Plücker 嵌入表示，将每个像素的观察射线编码为六维坐标，并通过自适应层归一化机制融入扩散过程。对于文本控制，采用分块提示，即每个视频分块被分配各自的描述，以实现时间局部化的语义控制。

为了解决模型在自回归生成过程中过度依赖干净上下文而导致的过拟合和视觉质量退化问题，作者提出了双向自回归混合（MoBA）注意力掩码。这种混合机制在标准的教师强制掩码中集成了一个双向组件。对于自注意力，每个带噪声的帧关注自身及其干净上下文，而具有完全注意力的双向组件帮助模型适应可变长度的视频生成，并起到正则化器的作用。对于交叉注意力，自回归组件以下三角模式关注背景提示和分块提示，以防止未来语义泄露，而双向组件则关注一个描述所有事件的全局提示。

该模型使用条件流匹配目标进行优化。对于每一帧 $i$i，构建一个带噪声的潜在表示 $x_i^t = (1 - t)x_i + t\epsilon$xit​=(1−t)xi​+tϵ，并训练网络 $v_{\theta}$vθ​ 以在干净上下文、相机位姿和提示的条件下预测流速：

$\mathcal{L}_{\mathrm{fm}} = \mathbb{E}_{x, i, t, \epsilon} \left\| v_{\theta}(x_i^t, t \mid x_{<i}, p_{\le i}, a_{\le i}) - (\epsilon - x_i) \right\|^2$Lfm​=Ex,i,t,ϵ​∥vθ​(xit​,t∣x<i​,p≤i​,a≤i​)−(ϵ−xi​)∥2

在后训练阶段，将多步预训练的 causal 扩散模型压缩为适用于实时交互的少步生成器。作者采用一致性蒸馏（Consistency Distillation），通过在相同教师概率流 ODE 轨迹上的相邻点之间强制局部一致性来减少去噪步骤的数量：

$\mathcal{L}_{\mathrm{CD}} = \mathbb{E} \left[ d(G_{\theta}(x_i^t, t \mid c), G_{\theta^-}(\tilde{x}_i^{t-\Delta t}, t - \Delta t \mid c)) \right]$LCD​=E[d(Gθ​(xit​,t∣c),Gθ−​(x~it−Δt​,t−Δt∣c))]

其中 $c$c 表示 causal 条件变量。为了进一步优化学生生成器并减轻长时域自我推演中的累积漂移，应用了分布匹配蒸馏（Distribution Matching Distillation, DMD）。DMD 利用学生加噪分布与数据加噪分布之间 KL 散度的梯度来优化生成器：

$\nabla_{\theta} \mathbb{E} \left[ D_{\mathrm{KL}}(p_{\theta, t} \parallel p_{\mathrm{data}, t}) \right] = - \mathbb{E} \left[ (s_{\mathrm{real}}(\hat{x}_i^t, t \mid c) - s_{\mathrm{fake}}(\hat{x}_i^t, t \mid c)) \frac{\partial \hat{x}_i}{\partial \theta} \right]$∇θ​E[DKL​(pθ,t​∥pdata,t​)]=−E[(sreal​(x^it​,t∣c)−sfake​(x^it​,t∣c))∂θ∂x^i​​]

通过在长时域自我推演轨迹上应用 DMD，学生生成器在其自身预测所诱导的状态分布上进行优化，从而有效减少累积漂移。

为了弥合被动视频生成与交互式世界建模之间的差距，作者在部署时引入了一个导演-飞行员协同模拟框架（Director-Pilot Co-Simulation Framework）。在该架构中，一个视觉语言模型（VLM）充当"Director"，管理宏观语义规则和 causal 推理；而底层的视频生成器（Video Generator）则充当"Pilot"，模拟低层物理动态并渲染高保真视觉转换。

VLM 持续分析当前的视觉现象，预测用户交互的逻辑后果，并制定明确的事件提案。这些提案被送入视频模型，将语义指令转化为连贯的时空推演。该框架支持两种主要交互模式。在直接语义交互中，VLM 直接分析当前帧并为对象生成动态事件卡，允许无缝的整体交互。在跟踪辅助的对象交互中，集成了一个基于 SAM 的动作提案循环，以实现精确的、以对象为中心的操作。VLM 识别特定的交互元素，SAM 跨视频分块持续跟踪这些对象，以保持空间一致性。

为了在部署时保证高视觉质量和低延迟，作者实现了一个轻量级的时空细化器，对上采样的解码帧进行优化，并合成中间帧以实现更流畅的运动。此外，一个动态的 KV-cache 调度机制根据当前控制信号动态调整上下文，保留最丰富的历史信息，同时丢弃过时的条目，以加速推理并提高连贯性。由此产生系统支持可控的世界探索与多样化的交互，允许在不同世界时域上进行灵活的提示切换，以及对不同主角进行可控导航。

实验

评估首先检验了蒸馏后的交互式模型，它在保持开放的同时，视觉质量与最强的闭源基线相匹配，能够实时高分辨率生成而无需退化，并在连续数小时的会话中保持完全稳定。然后，将预训练的主干网络与先前的 causal 模型进行比较，在长时域连贯性上，它始终优于它们，得益于其抗漂移训练，在早前系统几秒或几分钟就会失败的场景下，仍能保持清晰的纹理和稳定的几何结构。总之，这些结果展示了优于现有替代方案的结构稳定性，蒸馏模型独特地结合了开放访问、实时交互性和长时间探索下稳定的视觉质量。

所提出的交互式世界模型独特地在通用领域实现了小时级别的连续生成，结合了无限的语义交互、高动态性和实时性能，同时保持完全开源。所有其他比较模型都被限制在分钟级别的生成，并且没有一个能同时提供通用领域范围和丰富的交互性。只有所提出的模型能维持超过分钟的生成，达到小时级别且无可见质量衰减。它提供了无限的语义交互，而竞争对手要么不支持，要么只支持很少的几种。尽管完全开源，但其视觉质量等于或超过最强的专有基线。该模型保持实时的高分辨率输出，在任意长的推演序列中无退化。

评估表明，所提出的交互式世界模型独特地实现了小时级别的连续生成，在通用领域支持无限的语义交互和高动态性，而所有其他方法都被限制在分钟级别的生成和有限的交互性上。该模型维持实时的、高分辨率的输出，在任意长的推演序列中无质量退化，且尽管完全开源，其视觉质量仍等于或超过最强的专有基线。