一句话总结

阿里巴巴达摩院等提出RynnWorld-4D，一个三支扩散模型，从单个RGB-D图像和语言指令中共同生成未来的RGB帧、深度图和光流，利用跨模态注意力和逐帧3D RoPE；以及RynnWorld-4D-Policy，该策略在单次前向传播中直接从模型内部4D表示输出机器人动作，在Rynn4DDataset 1.0（一个精心策划的超过2.544亿帧的数据集）上训练后，在真实世界的灵巧双手操作任务中达到最先进水平。

核心贡献

• RynnWorld-4D被提出，这是一个生成模型，从单个RGB-D图像和语言指令中共同生成未来的RGB帧、深度图和光流，使用三支扩散架构，结合跨模态注意力和3D旋转位置嵌入，以确保外观、几何和运动演化的一致性。
• Rynn4DDataset 1.0被策划，一个大规模混合数据集，包含超过2.544亿帧，源自以自我为中心的人类和机器人操作视频，具有高质量的深度和光流伪标签，可训练可扩展的4D世界模型。
• RynnWorld-4D-Policy被提出，这是一个逆动力学头，在单次前向传播中从世界模型提取内部4D表示，绕过逐步去噪，并在真实世界的灵巧双手操作任务上实现最先进的闭环控制性能。

引言

开放世界中的机器人操作需要视觉世界模型，预测场景在agent动作下如何演变。先前的生成视频模型仅限于2D像素输出，丢弃了关键的3D空间关系，并遭受几何不一致性，如物体尺度波动。现有的4D场景建模方法要么依赖昂贵的逐场景优化，要么需要多视图输入，或缺乏预训练视频扩散先验的可扩展性。本文提出一种投影4D表示，共同生成同步的RGB、深度和光流序列，保持与大规模2D视频扩散骨干的兼容性，同时使场景几何和逐点3D运动显式化。他们引入RynnWorld-4D，一个三支世界模型，通过跨模态注意力共同生成这些模态，以及一个策略头，利用模型的内部4D特征实现高频闭环机器人控制。

数据集

作者引入Rynn4DDataset 1.0，一个大规模混合数据集，由超过2.544亿视频帧构建。它结合了以人为中心和机器人操作源，每一帧都丰富了三种伪标注：细粒度字幕、单目深度和稠密光流。

数据集组成和来源

• 以人为中心的数据集：Epic-Kitchens, EgoVid
• 机器人操作数据集：RoboMIND, RDT-1B, Galaxea, RoboCoin, AgiBot

提供的文本中未指定每个子集的大小或过滤规则；总帧数为2.544亿。

标注流程

• 视频字幕： Qwen3-VL为以1 FPS采样的5秒片段生成结构化描述。提示词要求提供主体、动作、环境、物体、交互和整体场景上下文。字幕（最多512 tokens，温度0.7）存储为JSON。
• 光流： DPFlow在原生分辨率下对连续帧对估计光流。流场被颜色编码，并以25 FPS保存为MP4视频。
• 深度： Depth Anything 3（DA3NESTED-GIANT-LARGE-1.1检查点）预测稠密的逐帧深度和相机姿态。视频以30 FPS采样，并以短边392像素的工作分辨率处理。深度图被裁剪到[0, 5]米，量化为8位灰度，并保存为RGB视频。

在模型中的用途 该数据集提供了训练作者模型（大概用于4D视频理解）所需的伪标注。摘录未描述具体的训练划分、混合比例或裁剪策略。

方法

为解决4D生成建模中的数据稀缺问题，作者引入Rynn4DDataset 1.0，一个专门为训练前馈4D生成模型而策划的大规模混合数据集。它包含来自以人为中心和机器人操作数据集的超过2.544亿视频帧。

每一帧都丰富了高质量的4D伪标注，包括细粒度指令、单目深度和稠密光流。多模态标注流程如下图所示。

视频字幕使用Qwen3-VL生成视频片段的详细结构化描述。光流标注使用DPFlow计算稠密的逐帧运动场。深度标注利用Depth Anything 3生成单目深度预测，将其上采样到原始分辨率并量化为8位灰度。

RGB-DF表示的一个关键优势是其固有的几何可解释性。通过结合共同生成的深度和光流，模型可以重建时间一致的3D场景并推导出度量场景流。给定在帧$t$t生成的深度图$D_t$Dt​，每个像素$\mathbf{p}_t = [u, v, 1]^\top$pt​=[u,v,1]⊤（齐次坐标）被反投影到3D相机空间：

$\mathbf{P}_t = D_t(u, v) \cdot \mathbf{K}^{-1} \mathbf{p}_t$Pt​=Dt​(u,v)⋅K−1pt​

其中$\mathbf{K}$K是相机内参矩阵。为了捕捉底层4D动态，利用稠密光流$\mathbf{f}_{opt} = [\Delta u, \Delta v]^\top$fopt​=[Δu,Δv]⊤建立时间对应关系。3D点$\mathbf{P}_t$Pt​通过以下方式跟踪到$t+1$t+1时刻的位置：

$\mathbf{P}_{t+1} = D_{t+1}(u + \Delta u, v + \Delta v) \cdot \mathbf{K}^{-1} (\mathbf{p}_t + [\Delta u, \Delta v, 0]^\top)$Pt+1​=Dt+1​(u+Δu,v+Δv)⋅K−1(pt​+[Δu,Δv,0]⊤)

然后3D场景流定义为$\mathbf{f}_{3D} = \mathbf{P}_{t+1} - \mathbf{P}_t$f3D​=Pt+1​−Pt​，表示逐点的度量位移。如下图所示，给定输入RGB-D图像和描述，RynnWorld-4D同步生成RGB、深度和光流视频，并可进一步提升为3D场景流。

为了实现RGB-DF序列的同步生成，作者将预训练的视频生成模型扩展为三支架构。有关RynnWorld-4D流水线的概述，请参考框架图。

这种解耦设计允许每个模态建模其独特的特征分布，例如RGB的复杂纹理、深度的空间几何和光流的运动位移，减轻了不同模态之间的表示干扰。

为强制跨模态一致性，引入了联合跨模态注意力（JA）模块。它被插入到所有30层中每三个Transformer块之间。在跨模态混合之前，每个分支$m \in \{\text{rgb}, \text{depth}, \text{flow}\}$m∈{rgb,depth,flow}接收一个可学习的模态嵌入$\mathbf{e}^m$em，并通过每个模态的LayerNorm $\mathrm{LN}^m$LNm进行归一化，以对齐各分支的数值尺度：

$\tilde{\mathbf{z}}_l^m = \mathrm{LN}^m (\mathbf{z}_l^m + \mathbf{e}^m)$z~lm​=LNm(zlm​+em)

每个分支生成一个查询以及一个共享的键/值对，该键/值对被所有其他分支的查询重用，从而降低参数成本。tokens被重塑，使得跨模态注意力仅限于跨模态的同一时间帧的tokens，并应用3D旋转位置嵌入。每个查询仅关注两个互补模态的键/值：

$\mathbf{A}_l^m = \mathrm{Attn} (\mathrm{RoPE}(\mathbf{Q}_l^m), \mathrm{RoPE}(\mathbf{K}_l^{\text{cross}}), \mathbf{V}_l^{\text{cross}})$Alm​=Attn(RoPE(Qlm​),RoPE(Klcross​),Vlcross​)

作者没有采用双重零初始化，而是将零初始化输出投影与初始化为1的可学习门控$g_l^m$glm​结合起来：

$\hat{\mathbf{z}}_l^m = \mathbf{z}_l^m + \tanh(g_l^m) \cdot \operatorname{OutProj}_l^m (\mathbf{A}_l^m)$z^lm​=zlm​+tanh(glm​)⋅OutProjlm​(Alm​)

在初始化时，零初始化输出投影保证了平滑的预热启动，而$\tanh(g_l^m) \neq 0$tanh(glm​)=0确保了非零梯度流入门控，防止联合路径被困在原点。

为了弥合模态之间的显著分布差距，提出了一种分阶段训练范式。在阶段1（模态适应）中，联合跨模态注意力被禁用，三个分支独立训练。在阶段2（联合注意力训练）中，插入JA模块。骨干和每个分支的自注意力/FFN被冻结；只有JA投影、RMSNorm、每个模态的LayerNorm、tanh门控和模态嵌入是可训练的。在阶段3（全参数联合SFT）中，整个模型解冻，并在完整数据集上继续训练。

在阶段2和阶段3中，应用分支丢弃。以一定概率随机选择深度或光流分支之一，并将其噪声潜在变量替换为纯高斯噪声，迫使JA模块从可见模态重建它。RGB分支永远不会被丢弃，因为它充当外观锚点。

所有三个阶段都使用流匹配目标进行优化。对于每个模态$m \in \mathcal{M} = \{\text{rgb}, \text{depth}, \text{flow}\}$m∈M={rgb,depth,flow}，学习一个速度场$\mathbf{v}_\theta^m$vθm​，将高斯噪声$\boldsymbol{\epsilon}^m$ϵm传输到数据$\mathbf{z}_0^m$z0m​。总损失为：

$\mathcal{L}_{\text{total}} = \sum_{m \in \mathcal{M}} \lambda_m \mathbb{E}_{\mathbf{z}_0^m, \boldsymbol{\epsilon}^m, t, \mathbf{c}} \left[ \| \mathbf{v}_\theta^m (\mathbf{z}_t^m, t, \mathbf{c})_{[1:]} - (\boldsymbol{\epsilon}^m - \mathbf{z}_0^m)_{[1:]} \|_2^2 \right]$Ltotal​=∑m∈M​λm​Ez0m​,ϵm,t,c​[∥vθm​(ztm​,t,c)[1:]​−(ϵm−z0m​)[1:]​∥22​]

其中$\mathbf{c}$c表示文本提示以及初始RGB-D观测。一个单一的高斯噪声样本在三个模态之间共享，使得它们的去噪轨迹在时间上保持对齐。

作者利用RynnWorld-4D作为预测性4D视觉编码器。给定当前RGB-D观测和指令，通过冻结的RynnWorld-4D进行一次前向传播，产生编码未来动态的潜在轨迹。提取所有分支的中间隐藏状态并拼接。为了压缩4D特征，使用一个带有可学习查询$\mathbf{Q}$Q的Flow Former。它通过逐帧空间交叉注意力，然后进行时间自注意力来处理特征：

$\mathbf{Q}_i' = \operatorname{Spat-CrossAttn}(\mathbf{Q}_i, F_p[i]), \quad \mathbf{Q}'' = \operatorname{FFN}(\text{Temp-SelfAttn}(\mathbf{Q}')), i \in \{1, \dots, T\}$Qi′​=Spat-CrossAttn(Qi​,Fp​[i]),Q′′=FFN(Temp-SelfAttn(Q′)),i∈{1,…,T}

最后，一个流匹配策略基于预测的4D tokens $\mathbf{Q}''$Q′′、文本嵌入和本体感觉生成动作。在推理过程中，动作通过ODE求解器在4步内得出，通过并行动作分块实现高频闭环控制。

实验

实验评估了一个4D世界模型，该模型共同生成RGB、深度和光流序列，以及一个利用其冻结的预测潜在变量进行机器人操作的下游策略。模型采用分阶段课程训练，以适应RGB先验并融合跨模态特征，然后在六个具有随机初始状态的真实世界双手任务上测试。结果表明，同步的三支生成相比单独训练显著提高了几何和运动精度，并且该策略始终优于基于2D的基线，特别是在需要精确空间协调和动态物体传递的任务上。消融实验证实，每个组件，包括模态特定适应、大规模4D预训练，以及使用预测性4D潜在变量而非静态图像编码器，对模型的成功至关重要。

推理流水线主要由RynnWorld-4D的前向传播主导，占约90%的总延迟。深度估计和VAE准备只占一小部分时间，而动作生成头增加的开销可忽略不计。总体周期时间约1.1秒，控制频率接近9 Hz。RynnWorld-4D内部的三支Transformer是主要瓶颈，消耗了89.5%的总推理时间。深度估计仅增加7.7%，组合动作头（Flow Former和Flow Matching）仅占1%多一点，使得策略头极其轻量。整个流水线在约1.1秒的周期时间内达到约9 Hz的控制频率。

模型分三个阶段训练：首先，所有分支独立训练，无跨模态融合；其次，在骨干冻结的情况下训练联合跨模态注意力模块和模态嵌入；最后，所有参数联合微调。光流损失权重在第一阶段后从0.5增加到1.0，分支丢弃仅在联合训练阶段应用，以鼓励跨模态依赖。训练从独立分支训练推进到全联合微调，中间阶段仅训练跨模态注意力和模态嵌入，同时保持骨干冻结。光流损失系数在初始独立阶段后从0.5翻倍到1.0，分支丢弃仅在联合训练阶段引入，起始为0.2，最终阶段降至0.1。

真实世界数据集包含2400个回合用于训练RynnWorld-4D世界模型，1200个回合用于RynnWorld-4D-Policy，涵盖六个双手任务。像Dual Picking和Block Pushing这样的任务拥有最多的世界模型数据（各500个回合），而Hand-over、Lid Placement和Bowl Stacking各有300个回合。策略集每个任务统一使用200个回合。Dual Picking和Block Pushing是世界模型训练集中最具代表性的任务，各500个回合。策略训练集统一为世界模型集的一半大小，所有六个任务均为每个任务200个回合。

RynnWorld-4D在视觉质量上与最先进的视频生成模型相当，同时提供显著更好的重建保真度，并且在几何和运动精度上大幅超越现有的4D世界模型。消融实验表明，联合训练三个模态、使用模态特定适应以及在跨模态注意力中注入3D位置信息对于保持跨模态一致性和实现高保真4D生成至关重要。RynnWorld-4D几乎达到了先前4D模型深度精度的两倍，并且独特地提供了同步的低误差光流，这是大多数基线所不具备的能力。从联合跨模态注意力中移除3D RoPE会导致几何保真度和运动精度严重下降，证实了空间感知的特征融合对于将深度和光流与RGB内容对齐至关重要。

RynnWorld-4D-Policy在六个机器人操作任务上优于所有基线，在需要空间精度和动态物体传递的任务中增益最大。基础模型π₀和π₀.₅在Hand‑over任务上几乎成功率为零，而4D策略达到28.57%。消融实验表明，移除预测性4D编码器或仅使用RGB潜在变量会导致成功率大幅下降，证实了联合空间和运动动态对于鲁棒策略学习至关重要。基础模型π₀和π₀.₅在Hand‑over任务上失败（2.86%和0%成功率），而RynnWorld‑4D‑Policy达到28.57%。将RynnWorld‑4D编码器替换为静态ResNet‑18（w/o RynnWorld‑4D）使Dual Picking成功率从94.29%降至71.43%。

评估检验了RynnWorld-4D，一个联合RGB-深度-光流的生成模型，及其在六个双手操作任务上的衍生策略。RynnWorld-4D在重建保真度和运动精度上超越先前的4D模型，消融实验证实，具有3D位置编码的跨模态融合对于保持几何和运动一致性至关重要。RynnWorld-4D-Policy利用预测性4D编码器，优于所有基线，在需要空间精度和动态协调的任务中增益最大，同时推理流水线达到9 Hz的控制频率，世界模型前向传播是主要计算瓶颈。