一句话总结

Robbyant 研究者推出 LingBot-Video，这是一个面向具身智能的 Mixture-of-Experts 视频预训练范式，从头开始扩展基于 DiT 的架构，通过数据画像引擎整合互联网视频与机器人影像，并通过多维奖励系统强化物理真实性，发布首个开源 MoE 视频基础模型以弥合数字创作与物理执行之间的鸿沟。

核心贡献

• 引入一种稀疏 Mixture-of-Experts (MoE) 视频扩散框架及可扩展的训练范式，能在复杂时空动态的建模能力与推理成本之间实现高效权衡。
• 一个专用的数据画像引擎可系统性地分析、过滤和再平衡异构视频源，将互联网规模视频与机器人操作、导航和自我中心数据集相整合，以此强化在物理交互和动作语义方面的扎根能力。
• 多维奖励系统融合物理合理性与任务完成信号，超越传统审美和文本对齐目标，鼓励学习与具身环境相一致的动态特性。

引言

作者讨论了将基于扩散的视频模型作为具身智能的隐式世界模拟器，用于支撑机器人与自动驾驶中的规划与策略学习。此前的视频基础模型侧重感知质量而非物理正确性，依赖密集计算限制了可扩展性，且基于缺乏机器人特定交互动态和物理扎根的互联网视频进行训练。该工作引入 LingBot-Video，一个稀疏 Mixture-of-Experts 扩散 Transformer，将机器人增强的预训练语料与多维奖励系统整合，以实现高效、物理一致且具身感知的视频生成，赋能主动具身推理。

数据集

作者通过组合多种图像与视频来源构建大规模多模态训练语料，重点关注具身与动作丰富内容。数据集通过统一基础设施进行处理，该基础设施对每个样本进行画像、标注与组织，随后输入到渐进式五阶段训练课程。

• 数据画像引擎：每个原始样本被转换为结构化、可查询的记录，覆盖结构元数据（分辨率、帧率、通过 TransNetV2 获取的镜头边界）、语义标签（物体、场景、风格、实体）、运动与相机动态（相机运动 vs 主题运动、来自 LocoTrack 的跟踪运动）、电影属性（镜头大小、角度、光照等）和质量/美学指标（HPSv3、通过 OmniAID 检测的 AI 生成内容、清晰度、曝光、伪影如水印和字幕）。这些记录驱动所有下游过滤与采样。

• 世界知识拓扑图：语义标签经过扩展、嵌入并聚类成层级树，包含 50,000 个细粒度叶节点概念和 25 个顶层视觉组。对于视频，则从归一化和描述增强的动作标签中构建包含数百个规范动作节点（操作、运动、日常活动）的动作树。该图支持分布感知采样：对罕见或困难节点进行上加权，并根据早期训练阶段的损失反馈细化采样权重，以聚焦于欠表征或具挑战性的内容。

• 密集结构化标注：所有训练数据均使用结构化 JSON 标注进行重新注释。对于图像：包含全局描述、相机标签集、世界知识实体，以及带有位置、大小、纹理和人物属性（姿态、穿着等）的显著元素列表。对于视频：模式增加了每个元素的时间戳动作及相机运动描述。机器人操作 (VLA) 视频和自我中心视频使用相同的视频模式并做细微调整（例如，删除性别字段，用手和夹爪的分阶段动作进行注释）。

• 分阶段数据课程：语料在五个渐进式预训练阶段中被消耗，分辨率和混合比例随时间演变。

• 阶段 1：仅 192p 图像，按美学质量和最低分辨率进行过滤，丢弃最低层级的样本。

• 阶段 2：在更严格的图像池旁引入 192p 视频；视频准入使用分辨率、美学和运动过滤器（结合 VLM 驱动和几何扎根的运动信号）。此阶段注入超过 70,000 小时面向具身的影像——机器人操作（真实机器人、模拟、开源、人形/四足平台）、导航、自我中心视频和富含文本的视频。

• 阶段 3：扩展到 480p，采用更严格的美学和运动标准，保留高运动视频的同时维持严格的图像质量门槛。

• 阶段 4：针对具身智能进行 480p 再平衡；一般视频面临严厉的质量过滤，而稀缺的高价值来源（操作、导航、自我中心、基准数据）则经过最小化过滤以最大化长尾动作中心数据的覆盖率。

• 阶段 5：一个高质量 1080p 视频的小子集（远低于初始池的 1%）作为级联细化器的微调集。

• 训练数据打包：在预训练期间，异质样本根据目标 token 预算被打包为 1D 序列。视觉 token 和条件 token 通过注意力掩码串联，允许动态调度以及图像和视频的高效联合处理，无需模态特定的加载器。

方法

作者采用级联设计，由任务统一的基础生成器和细化器组成。基础生成器利用单流扩散 Transformer 来处理压缩的视觉潜在变量和多模态条件。

统一输入与单流主干 每个训练样本被表示为一个由视觉潜在块和条件 token 组成的单一 token 序列。将视觉块和条件特征投影到相同的隐藏维度后，它们沿着序列维度串联。该公式在单一框架内处理文生图、文生视频和图生视频任务。为解决结构差异，3D 多模态 RoPE 机制将条件 token 与视觉 token 放置于互不重叠的时间坐标范围内。

主干是一个精简的单流扩散 Transformer。所有视觉和条件 token 共享相同的 Transformer 块，最大化参数重用并促进密集的跨模态交互。为稳定深层主干中的注意力，查询和键通过逐头 RMSNorm 进行归一化。通过 AdaLN-Single 设计降低调制开销，在 Transformer 堆栈前一次性计算共享时间步调制。

使用稀疏 Mixture-of-Experts 进行扩展 为在恒定计算预算下扩大参数容量，作者将稀疏 Mixture-of-Experts 框架纳入基础生成器。在每个 Transformer 块中，密集的前馈计算被替换为 token-choice 稀疏 MoE 层。请参考框架图以了解整体架构。

MoE 设计融合了细粒度专家细分和共享专家隔离。给定 token $t$t 的调制后 FFN 输入 $\mathbf{u}_t$ut​，稀疏 MoE 层计算来自共享专家和路由专家的分支输出： $m(\mathbf{u}_t) = \sum_{i=1}^{N_s} E_i^{(s)}(\mathbf{u}_t) + \sum_{j \in \mathcal{R}_b(\mathbf{u}_t)} g_{t,j} E_j^{(r)}(\mathbf{u}_t)$m(ut​)=∑i=1Ns​​Ei(s)​(ut​)+∑j∈Rb​(ut​)​gt,j​Ej(r)​(ut​) 其中 $E_i^{(s)}$Ei(s)​ 和 $E_j^{(r)}$Ej(r)​ 分别表示共享专家函数和路由专家函数。共享专家为通用物理原理提供共同路径，而路由专家捕获专业化特征。

Token 路由使用 sigmoid 路由器计算亲和度。为了控制通信成本，采用组限制路由策略。负载均衡通过使用在线更新的动态修正偏置的无辅助损失策略来维持。此外，序列级辅助均衡损失鼓励在每个打包的视频序列内专家使用保持平衡。

MoE 配方探索 作者系统性地探索了 MoE 设计空间。首先，在固定的活跃参数规模下，评估了扩展专家池大小的效果。如下图所示，扩大专家数量可在训练和验证损失方面带来一致的改善。选择 128 作为默认专家数量以平衡性能与开销。

接着，在固定的总参数预算下，比较了细粒度路由与粗粒度路由。如下图所示，细粒度路由配方表现始终更优，突出细粒度专家专业化和更大组合路由空间带来的优势。

级联细化器 为平衡计算复杂度与生成质量，采用级联设计。一个高容量的基础生成器在 480p 分辨率下建模运动和场景布局，随后由一个专门的细化器上采样至 1080p。

在训练期间，施加高斯模糊和压缩等合成退化来构建退化的低分辨率输入。细化器学习一个从退化条件 $\mathbf{x}_{lr}$xlr​ 开始指向干净目标潜在变量 $\mathbf{x}_0$x0​ 的条件校正流。扰动后的潜在变量 $\mathbf{x}_t$xt​ 和目标速度 $v_{ref}^*$vref∗​ 的公式化为： $\mathbf{x}_t = \left(1 - \frac{t}{\tau}\right) \mathbf{x}_0 + \frac{t}{\tau} \mathbf{x}_\tau, \quad v_{ref}^* = \frac{\mathbf{x}_\tau - \mathbf{x}_0}{\tau}$xt​=(1−τt​)x0​+τt​xτ​,vref∗​=τxτ​−x0​​ 模型使用限制在时间步 $t \leq \tau$t≤τ 内的流匹配损失进行优化。如下图所示，细化器显著增强了面部外观并恢复了高频细节。

数据画像引擎 其性能依赖于可扩展的数据基础设施。数据画像引擎将原始多模态样本转换为结构化、多维的记录，用以捕获结构、语义、运动、相机和质量属性。参考框架图了解该管线概览。

这些标准化记录驱动从过滤、采样到标注的下游处理阶段。核心标注由视觉语言模型和专用评分模型生成。

实验

广泛的扩展实验证明，所提出的稀疏单流扩散 Transformer 可高效扩展，稀疏模型优于相似规模大小的密集基线，并达到接近一致的推理延迟，同时相比更大的密集模型具有显著的速率优势。使用多维奖励（包括细粒度物理合理性、运动连贯性和人体运动一致性）进行后训练，引导模型朝向更真实和物理扎根的生成。内部和公开基准测试确认了 LingBot-Video 在具身和物理领域中的最先进性能，尤其是在图像条件生成下，同时用户研究进一步验证了其在开放源模型中相较于开源和闭源模型的强大地位。动作转视频的后训练显示，该模型能泛化至训练轨迹之外，在分布外任务上更忠实地遵循物理定律和动作规格。

LingBot-Video，一个开源模型，取得了最高的 RBench 平均分（0.620），超越所有其他开源模型并略微领先闭源的 Wan 2.6（0.607）。它在任务导向的类别（如 tasks 和 multi-entity）以及双臂具身方面表现出色，而 Wan 2.6 在 reasoning、single-arm 和 long-horizon 维度上领先。另一项 Physics-IQ 评估确认了 LingBot-Video 的顶级开源排名，得分为 40.4，略微领先于 Cosmos 3（39.5）。LingBot-Video 的 RBench 平均分 0.620 领先所有开源模型，Cosmos3 Super 为 0.581，Wan 2.2 A14B 为 0.507，且其微弱击败闭源的 Wan 2.6（0.607）。在任务导向的子分数上，LingBot-Video 在 tasks（0.578）和 multi-entity（0.634）上得分最高，而 Wan 2.6 则统治了 reasoning（0.666）和 long-horizon（0.531）。在具身特定指标上，LingBot-Video 的双臂分数（0.758）是全局最强的，而 Wan 2.6 在 single-arm（0.681）领先，Cosmos3 Super 则在 quadruped（0.691 vs. 0.689）和 humanoid（0.691 vs. 0.689）上紧追 LingBot-Video。在另一项 Physics-IQ 基准测试上，LingBot-Video 获得了 40.4 的验证分数，为开源模型中最高，略微超越 Cosmos 3（39.5），且与如 HunyuanVideo 1.5（33.4）等模型的差距更大。

在 RBench 和 Physics-IQ 评估中，LingBot-Video 为开源模型设立了新标杆，在平均分上超越闭源的 Wan 2.6，并在任务导向和双臂场景下表现优异。其最高的 Physics-IQ 分数进一步展示了稳健的物理推理能力，而 Wan 2.6 则在推理和单臂子任务中保持优势。