一句话总结

南洋理工大学、Ropedia、杜克大学等机构的研究人员提出 Ropedia W0，这是首个跨越人类与机器人的第一人称运动操作世界基础模型，其统一运动学表示和精心构建的 Xp-Data 在五个跨具身基准上取得领先性能，并支持实时 VR 交互、规划和决策应用。

核心贡献

• 本文提出 Ropedia W0，这是首个涵盖人类、夹爪机器人和灵巧人形机器人的第一人称运动操作世界基础模型。该方法采用统一运动学表示，通过相机位姿编码运动，通过投影骨架编码操作。
• 该工作引入 Xp-Data，这是一个精选数据集，包含 1 万小时第一人称人类数据和 3 千小时机器人数据，带有统一多模态标注和系统化质量控制；同时引入 Xp-Teleop，这是一个基于高质量遥操作数据构建的长时程灵巧人形机器人运动操作基准。
• 评估显示在五个跨具身基准（DreamDojo、Ψ、ω-HOME、Xp-Teleop 和 AgiBot）以及留出的人类第一人称视频上达到当前最优性能，人类预训练规模提升同时改善人类和机器人结果。蒸馏实现实时分钟级推演，并支持策略评估、基于模型的规划和世界-动作建模。

引言

预测环境在动作作用下如何演化的世界模型对具身智能很有价值，但现有模型大多集中于固定基座、基于夹爪的操作。运动引起的视角变化、灵巧手-物体交互以及跨具身泛化仍未得到充分探索。DreamDojo 和 Cosmos 等先前方法仍需具身特定的控制接口或额外适配。大规模第一人称人类视频可提供有用学习信号，但公开数据集往往缺少度量尺度相机轨迹、可靠手部姿态和一致的标注格式。作者提出 Ropedia W0，一个面向跨具身运动操作的统一第一人称世界模型。它采用共享显式运动学表示，结合相机位姿和投影骨架，并在 Xp-Data 上训练；Xp-Data 是精选数据集，包含超过 1 万小时人类视频和 3 千小时机器人视频。

数据集

作者使用人在回路数据流水线构建 Xp-Data 用于训练，构建 Xp-Teleop 用于留出评估。

• 数据集构成与来源

  • Xp-Data 包含超过 1 万小时人类数据和 3 千小时机器人数据，包含同步 RGB、相机轨迹、操作器骨架和文本描述；在可用情况下还包含手腕位姿和广视场骨架。
  • 人类数据结合 14 个公开第一人称数据集和超过 6000 小时使用四鱼眼相机装置采集的自有记录，覆盖日常活动和物体交互。
  • 机器人数据来自 13 个公开数据集，涵盖平行夹爪和灵巧手。
  • AgiBot World Beta 贡献两个来源：一个平行夹爪流和一个灵巧手头部相机流。
  • Xp-Teleop 是一个单独的留出基准，时长约一小时，使用 Unitree G1 人形机器人和两只六自由度灵巧手录制。

• 子集详情

  • Xp-Data 人类子集：14 个公开第一人称数据集，外加超过 6,000 小时自有录制。
  • Xp-Data 机器人子集：13 个公开机器人数据集，包含平行夹爪和灵巧手。
  • Xp-Teleop：27 个长时程镜头，30 fps，约一小时第一人称视频，划分为 543 个人工标注原子片段，覆盖 30 个技能类别。

• 过滤规则

  • 视觉语言模型对原始片段进行筛选，剔除严重模糊、光照不良或不均匀、过曝/欠曝以及相机抖动过大的片段。
  • 既没有相机运动也没有可见手部的片段会被丢弃。

• 标注与元数据构建

  • 相机内参和度量轨迹来自可用标定，或通过自有 SLAM 流程或 DA3 估计。
  • Grounding DINO 识别手部和人等活动区域，以便在相机轨迹一致性检查中排除。
  • 人类运动学使用 WiLoR 重建的 MANO 关键点，并投影到图像中。
  • 文本描述在任务、子任务和原子动作层级描述手部、物体和交互。
  • 机器人关键点经过人工标注和修正，因为直接前向运动学投影在公开机器人记录中常与手部和夹爪错位。
  • 在可用情况下，手腕位姿通过前向运动学导出。

• 质量检查

  • 相机轨迹经过深度重投影一致性和时间平滑性检查。
  • 人类手部标注与 MediaPipe 和微调 MMPose 模型的独立 2D 检测结果交叉核对，并由视觉语言模型标记误检和属于其他人的手部。
  • 机器人关键点由两个在人工标注机器人手部数据上微调的检测器交叉核对。
  • 文本描述由 Qwen 验证，分歧由人工复核解决。

• 训练片段构建与模型使用

  • 一个片段或情节是一段连续来源录制；一个窗口是 81 帧训练样本；一个来源是一个数据集和一个末端执行器流。
  • 作者从质量检查后的子任务中构建 81 帧片段，分辨率为 640 × 480，并调整内参，从连续来源区间均匀重采样。
  • 语言模型将窗口内的关键帧描述合并为一条窗口级描述；对于少数没有生成描述的机器人窗口，使用默认描述。
  • 每个训练片段提供同步 RGB、投影骨架、相机参数和文本描述，在可用情况下还提供广视场骨架和手腕位姿。
  • 人类与机器人数据之间的统一格式支持训练跨具身世界模型。
  • Xp-Teleop 使用相同模式并留出用于评估；其中包含失败抓取和恢复过程，以测试非正常结果。

该部分报告了小时数和来源数，但除 Xp-Data 用于训练、Xp-Teleop 用于留出评估之外，未明确给出训练混合比例。

方法

为了训练面向跨具身运动操作的通用世界模型，作者开发了一条人在回路数据流水线，统一采集、多模态标注和质量检查。

该流水线通过五个阶段处理异构人类与机器人记录。第一，数据来源包括公开人类第一人称数据集、自有多视角记录和公开机器人数据集。第二，视觉语言模型根据视觉质量和任务相关性过滤原始记录，剔除严重模糊、光照不良或既没有相机运动也没有可见手部的片段。第三，多模态标注提取几何、运动学和语义信息。相机内参和度量轨迹通过 SLAM 或 DA3 获得，人类手部关键点从 WiLoR 重建的 MANO 姿态投影得到。对于机器人，前向运动学提供初始估计，并通过人工图像空间关键点标注和修正进行细化。分层文本描述描述任务、子任务和原子动作。第四，质量检查使用自动几何检查、检测器交叉核对以及包含 Gemini 标注、Qwen 验证和人工复核的文本描述级联流程，验证标注完整性、正确性和跨模态一致性。最后，训练片段构建将质量验证后的子任务切分为标准化的 81 帧多模态片段，形成统一的跨具身语料库。所得数据集覆盖多样环境和任务，同时在人类手部、灵巧机器人手部和平行夹爪之间共享统一标注格式。

第一人称运动操作需要联合建模由运动引起的视角变化和操作器运动。作者通过相机位姿和投影运动学骨架对这些因素进行编码，为人类、夹爪和灵巧人形机器人提供统一接口。给定初始图像 $I_0$I0​、文本条件 $c_{\mathrm{txt}}$ctxt​ 和逐帧运动学条件序列 $c_{1:T}$c1:T​，模型预测未来第一人称帧：

$$\hat{I}_{1:T} \sim p_{\theta}(I_{1:T} \mid I_0, c_{\mathrm{txt}}, c_{1:T}), \qquad c_t = (c_t^{\mathrm{cam}}, c_t^{\mathrm{skel}})$$I^1:T​∼pθ​(I1:T​∣I0​,ctxt​,c1:T​),ct​=(ctcam​,ctskel​)

其中 $c_t^{\mathrm{cam}}$ctcam​ 和 $c_t^{\mathrm{skel}}$ctskel​ 分别表示相机光线图和投影骨架渲染。

相机运动相对于初始帧表示，并编码为密集 Plücker 光线图。设 $\mathbf{R}_t$Rt​ 将方向从当前相机坐标系映射到初始相机坐标系，$\mathbf{o}_t$ot​ 表示相机中心。给定相机内参 $\mathbf{K}_t$Kt​ 和齐次像素坐标 $\tilde{\mathbf{u}}$u~，方向计算如下：

$$\mathbf{d}_t(\mathbf{u}) = \frac{\mathbf{R}_t \mathbf{K}_t^{-1} \tilde{\mathbf{u}}}{\|\mathbf{R}_t \mathbf{K}_t^{-1} \tilde{\mathbf{u}}\|_2}, \qquad c_t^{\mathrm{cam}}(\mathbf{u}) = [\mathbf{o}_t \times \mathbf{d}_t(\mathbf{u}); \mathbf{d}_t(\mathbf{u})]$$dt​(u)=∥Rt​Kt−1​u~∥2​Rt​Kt−1​u~​,ctcam​(u)=[ot​×dt​(u);dt​(u)]

这种六通道编码将相机几何与每个图像位置关联起来。

操作的运动学骨架被渲染到 $c_t^{\mathrm{skel}}$ctskel​ 中。对于机器人，具身 $e$e 上关键点 $j$j 的初始前向运动学投影为：

$$\tilde{\mathbf{u}}_{t,j}^{(e)} = \pi \Big[ \mathbf{K}_t \left(\mathbf{R}_t^{\mathrm{c} \leftarrow \mathrm{b}} \mathcal{F}_j^{(e)}(\mathbf{q}_t) + \mathbf{t}_t^{\mathrm{c} \leftarrow \mathrm{b}}\right) \Big]$$u~t,j(e)​=π[Kt​(Rtc←b​Fj(e)​(qt​)+ttc←b​)]

其中 $\mathcal{F}_j^{(e)}$Fj(e)​ 将关节状态 $\mathbf{q}_t$qt​ 映射到机器人基坐标系中的关键点位置。在可用时，手腕位姿渲染 $c_t^{\mathrm{wrist}}$ctwrist​ 和广视场骨架 $c_t^{\mathrm{wide}}$ctwide​ 补充核心表示。

作者提出 Ropedia W0，这是一个以初始观测、文本和运动学控制为条件的潜视频扩散 Transformer。

空间对齐的条件被添加到视频 token 中。相机光线图和骨架渲染被编码为条件潜变量 $z^{\mathrm{cam}}$zcam 和 $z^{\mathrm{skel}}$zskel，在空间和时间上与视频潜变量对齐。独立投影将这些潜变量映射到 Transformer token 维度：

$$h^{(0)} = P_{\mathrm{vid}}(z_{\tau}) + P_{\mathrm{cam}}(z^{\mathrm{cam}}) + P_{\mathrm{skel}}(z^{\mathrm{skel}})$$h(0)=Pvid​(zτ​)+Pcam​(zcam)+Pskel​(zskel)

其中 $z_{\tau}$zτ​ 表示噪声水平 $\tau$τ 下的视频潜变量，$P_{\mathrm{vid}}$Pvid​ 是预训练视频投影。相机和骨架投影初始化为零。文本嵌入通过交叉注意力层进入。手腕位姿渲染采用相同的对齐注入方案，而广视场骨架由于缺乏直接的逐像素对应关系，通过额外的交叉注意力分支进入。

训练分两个阶段进行。首先，在大规模第一人称人类视频上进行人类预训练，以文本、相机轨迹和投影手部骨架为条件，为跨具身迁移建立基础。其次，人类-机器人中期训练在平衡的人类与机器人数据混合上继续，引入机器人特定的外观和操作器几何，同时保持对多样人类经验的接触。可用性门控适应手腕位姿和广视场条件标注覆盖不同的样本。

为了实现实时交互式推演，作者首先使用 Causal Forcing 获得一个块因果、4 步自回归生成器。然后使用 LongLive 将其扩展到长时程流式生成。非对称分布匹配蒸馏对比冻结的双向真实去噪器 $\mu_{\psi}$μψ​ 和在线双向伪去噪器 $\mu_{\phi}$μϕ​ 的干净潜变量预测：

$$\nabla_{\theta} \mathcal{L}_{\mathrm{DMD}} = \mathbb{E}_{\tau, \epsilon} \left[ \frac{\mu_{\phi}(z_{\tau}, \tau) - \mu_{\psi}(z_{\tau}, \tau)}{\|z_0 - \mu_{\psi}(z_{\tau}, \tau)\|_1} \frac{\partial z_0}{\partial \theta} \right]$$∇θ​LDMD​=Eτ,ϵ​[∥z0​−μψ​(zτ​,τ)∥1​μϕ​(zτ​,τ)−μψ​(zτ​,τ)​∂θ∂z0​​]

其中 $z_0$z0​ 是学生输出，$z_{\tau}$zτ​ 是其加噪版本。LongLive 随后将少步生成器适配为长视频流式生成，并使用有界 KV 缓存，使学生能够以 21.3 fps 流式生成固定大小的潜变量块，实现分钟级交互式推演。

实验

评估涵盖五个跨具身基准和零样本人类第一人称视频，测试与 DreamDojo、Cosmos3 等近期世界模型相比的直接迁移、少样本后训练和全数据后训练。Ropedia W0 在各基准上持续领先，数据高效迁移和零样本迁移尤其突出，且单个人类-机器人中期训练检查点可泛化到多个具身。消融实验显示，骨架和相机条件、人类视频预训练以及模型规模均对预测质量有贡献，而蒸馏实现实时生成。该模型还在策略评估、基于模型的规划、世界-动作学习和实时遥操作中展现出实用价值。

在所比较的人形机器人遥操作数据集中，桌面采集集强调灵巧性，但几乎没有或完全没有运动，且记录模态不完整。Xp-Teleop 的不同之处在于，它在长时程同步镜头中同时捕捉运动和灵巧操作。它是比较中唯一同时具备长时程运动操作以及完整 RGB-D、IMU、全身关节、触觉、标定和关键点信号的数据集。桌面遥操作数据集通常运动范围极小或为零，并缺少触觉、标定和关键点记录。Xp-Teleop 独特地提供同步长时程运动加灵巧操作，并具有完整多模态覆盖。

在结合 EgoSuite 和 OpenAoE 的 200 片段人类第一人称视频评估集上，Ropedia W0 在比较方法中取得最低相机轨迹误差、最高手部跟随准确率和最佳视频预测质量。该评估使用的数据集在 Ropedia W0 及所有比较方法的训练中均未见过，表明其在运动跟随和视觉质量上都有强泛化能力。Ropedia W0 在未见第一人称评估集上记录最低相机轨迹误差和最高手部跟随准确率。Ropedia W0 在视觉质量上也领先，PSNR、SSIM 和 LPIPS 均为比较方法中最佳。在列出的基线行中，Cosmos3-Nano 的轨迹误差最低、检测率最高，而 DreamDojo 变体在手部关键点准确率和检测方面落后。

在 DreamDojo 基准上，Ropedia W0 变体在所有报告指标和测试划分上持续优于 DreamDojo 基线。5B 模型已超过更大的 14B 基线，A14B 变体进一步扩大领先优势。低数据设置下的提升最大，支持数据高效迁移。在 1% 后训练设置中，Ropedia W0 (5B) 在每个报告的 PSNR、SSIM 和 LPIPS 值上均优于更大的 DreamDojo (14B) 基线。Ropedia W0 (A14B) 在报告结果中于 In-lab、EgoDex 和 DreamDojo-HV 上取得最高视觉保真度。最大提升出现在低数据区域，突出对目标具身的数据高效适配。

在评估的灵巧人形机器人和运动操作基准上，Ropedia W0 在零样本、少样本和全数据设置下均领先。A14B 中期训练变体在几乎没有或完全没有后训练的情况下达到或超过基线全数据结果，其在长时程运动操作上的零样本性能超过所有基线全数据结果。后训练对未见场景的提升与已见场景同步，表明是适应而非记忆。在 Ψ0 上，最大的 Ropedia W0 变体在三种后训练设置中均报告最高 PSNR 和 SSIM 以及最低 LPIPS。A14B 中期训练变体在几乎没有或完全没有后训练的情况下达到或超过每个基线的全数据结果，并在无后训练时于 Ψ0 和 ω-HOME 上表现出最小的已见-未见差距。在 Xp-Teleop 上，A14B 中期训练零样本结果超过每个基线全数据结果，后训练对未见场景的提升与已见场景相似。

在留出的 AgiBot 夹爪窗口上，Ropedia W0 5B 中期训练模型在比较模型中取得最高 PSNR 以及最佳骨架和背景一致性，其 SSIM 和 LPIPS 接近领先的 DreamDojo 14B。将模型扩展到 A14B 在这一分布内集合上带来额外的 2.3 dB PSNR 提升。Cosmos3 等其他模型在动态程度上领先，但保真度和一致性较低。Ropedia W0 5B 中期训练模型在 AgiBot 集合上记录最高 PSNR 和最佳一致性得分。与 5B 中期训练结果相比，A14B 扩展进一步将 AgiBot PSNR 提升 2.3 dB，而 Cosmos3 模型表现出更多动态运动但保真度较弱。

论文评估了 Xp-Teleop，将其作为不同于桌面数据集的人形机器人遥操作数据集，其独特地捕捉同步长时程运动和灵巧操作，并具有完整多模态覆盖。Ropedia W0 在未见第一人称视频、DreamDojo、运动操作和留出 AgiBot 基准上接受测试，在这些基准上持续在运动跟随和视觉保真度方面领先基线，低数据设置下提升更大。A14B 变体进一步提升，其中期训练检查点在几乎没有或完全没有后训练的情况下达到或超过基线全数据结果，同时后训练对未见和已见场景的提升相似，表明泛化和数据高效适配而非记忆。