一句话总结

来自 GigaAI 和清华大学的研究人员提出了 WMBench，这是一个由真实机器人遥操作数据和匹配策略推演构建的基准，并开展了一项系统性研究，涵盖 7 个视频世界模型、4 种动作表示方案以及超过 324,000 次模拟策略推演（与真实机器人执行配对），并辅以来自 CVPR 2026 GigaBrain 挑战赛的大规模社区提交、精心筛选的合成轨迹以及超过 12,000 小时的训练视频。研究揭示，可靠策略评估的关键在于长时域、动作一致的推演一致性，而非短时视觉真实感；预训练收益需要在通用世界知识与机器人特定可控性之间取得平衡；架构选择（包括动作编码、记忆设计和面向评估器后训练）强烈决定了与真实世界机器人行为的对齐程度，最终形成了一条在 GigaWorld-1 中实现的实际设计路线图。GigaWorld-1 是一个针对可扩展策略评估优化的世界模型，其完整代码、模型、数据集和工具包已公开发布。

核心贡献

• WMBench，一个由真实机器人遥操作数据和匹配策略推演构建的基准，能够在多样化的操作任务、模型家族、动作表示、推演时域和评估指标下，对作为代理策略评估器的世界模型进行受控比较。
• 对 7 个视频世界模型、4 种动作编码方案和超过 324,000 次模拟推演的研究揭示了三个核心洞察：评估器质量由长时域动作一致的稳定性主导，而非短时视觉真实感；预训练收益来源于平衡通用世界知识与机器人特定可控性；动作编码和记忆设计等架构选择强烈决定了与真实机器人行为的对齐程度。
• 从这些发现中得出的实际设计路线图在 GigaWorld-1 中实现，这是一个针对策略评估优化的世界模型，而代码、模型、数据集和工具包的完整发布支持了具身基础模型的可扩展评估研究。

引言

评估机器人策略仍然是一个主要瓶颈，因为真实世界推演需要持续的人工监督、长时间占用硬件，且难以在一致的复位条件下进行扩展。虽然学习到的世界模型通过模拟视觉动态提供了一种有前景的替代方案，但先前的工作仅证明了评估是可能的，而并未阐明哪些设计选择能够产生可靠的、以动作为条件的策略评估器。作者通过构建 WMBench（一个涵盖八个操作任务、包含成对真实世界和世界模型推演的基准）并开展一项大规模研究（涵盖超过 324,000 次推演，涉及七个世界模型和四种动作表示）来解决这一空白。其核心洞察是：可靠的评估器必须在长时域内保持动作一致性，在机器人领域适应下保留预训练的世界知识，并支持稳定的迭代推演，最终在 GigaWorld-1 中得以实现，该模型在评估器对齐指标上相较于强基线提高了 14.9%。

数据集

作者构建了两个互补的数据资源：WMBench，一个用于评估世界模型能否替代真实世界执行以进行策略评估的基准；以及一个用于 GigaWorld-1 世界模型的大规模训练语料库。本节概述了它们的组成、筛选、处理和使用方式。

• WMBench 基准

• 组成：2899 条成对轨迹，涵盖八个操作任务，来自遥操作真实世界数据和由 GigaBrain 检查点生成的策略推演。遥操作数据与推演数据的比例大约为 1:1，且推演包含成功和失败案例。

• 训练/测试分割：按片段不相交分割，并平衡结果，以避免记忆视觉上相似的成功/失败案例。经过筛选后，训练集包含 82,470 秒视频，测试集包含 7,200 秒视频。

• 数据清洗：移除了损坏或截断的视频、相机不同步的片段、缺失机器人状态、控制时间戳未对齐、结果标签模糊以及近乎重复的遥操作片段。

• 大规模推演数据集：一个额外的 324,000 个世界模型推演片段池，由超过 100 个团队在 CVPR 2026 GigaBrain 挑战赛中提交。片段被链接成长时域交互片段（每个 20–30 个片段），并由三位独立标注员使用四级世界模型评估器评分（WMES）进行手工标注，并由一名高级标注员进行抽查。评分范围从具有高视觉保真度的准确结果（3）到具有严重生成崩溃的错误结果（0）。

• 用途：WMBench 作为闭环策略评估的官方基准，并提供用于分析评估器可靠性的标注推演数据。

• GigaWorld-1 训练语料库

• 规模与来源：约 12,980 小时视频，来自四个互补来源：

• 互联网和物理视频（1,298 小时），用于通用物理动态。

• 开源机器人数据集（5,377 小时），涵盖多样化的具身（例如 AgiBot、RoboMind、Galaxea）。

• 以自我为中心的人类手部数据（2,411 小时），强调手-物交互。

• Giga 收集的人形和双臂演示（3,894 小时），带有校准的机器人轨迹。

• 具身覆盖：语料库涵盖人形机器人、双臂机械臂、单臂机械臂和灵巧手。

• 数据筛选管线

• 视频质量过滤器：应用片段级验收测试。它验证元数据一致性、帧可解码性、时间戳单调性和分辨率有效性，然后计算每帧的图像质量分数（清晰度、曝光度、噪声、对比度和压缩伪影）。一个美学-语义评分器拒绝具有不相关覆盖层、极端遮挡、构图不佳或非操作内容的视频。通过直方图和相邻帧之间的嵌入差异检查时间完整性，以检测场景跳变、拼接错误、冻结帧或丢帧。

• 运动和轨迹过滤器：估计稠密光流以计算运动幅度。平均运动低于阈值的片段被移除（标记为等待、保持或接触稳定片段除外）。使用光流信号的时间加加速度惩罚高频运动伪影，丢弃具有突然振荡或不稳定的手-物接触的片段。对于机器人数据，一个视觉-语言验证器检查观察到的运动是否与动作流一致，筛选同步错误和校准漂移。

• 分布过滤器：筛选后，剩余片段按来源类型、具身、相机视角、任务族和运动强度进行分层平衡，然后标注任务描述、成功标签、动作同步元数据和质量标签。

• 使用 Giga DataCrafter 进行标注

• 语义掩码：SAM2 为可操作物体、机器人手臂、手部和任务相关区域生成帧级语义掩码。掩码在时间上传播并分配类别标签，提供以对象为中心的监督。

• 单目深度：Depth Anything 3 生成每帧的稠密深度图。对于多视角机器人数据，深度预测按相机归一化，并根据校准元数据进行检查。

• 语言字幕：一个快-慢视觉-语言模型字幕生成器离线运行。快速流产生高频、短期的子任务描述（例如，伸手、抓取、接触），而慢速流产生低频、长期的场景布局、物体属性和任务上下文描述。字幕被缓存并作为训练期间的轻量级条件信号重复使用。

• 在模型中的用途：经过筛选和标注的训练语料库用于训练 GigaWorld-1 世界模型。WMBench 用于衡量模型作为策略评估器的能力，而 WMES 标注的推演数据集为研究评估器可靠性提供了基础。

方法

作者将 GigaWorld-1 设计为一个面向评估器的世界模型，构建于预训练的视频扩散主干之上。为了在保持时空先验的同时高效地将模型适应到机器人领域，该架构保持 VAE 和文本编码器冻结，将机器人领域的学习集中在可训练的 LoRA 适配器和自回归扩散 Transformer 中的轻量级控制通路上。

如下图所示：

整体架构将预训练的主干扩展为自回归世界生成器。历史帧通过记忆分块化进行编码，而未来的噪声潜在变量则通过标准分块化处理。结构化控制（包括动作、深度、语义图和字幕）作为时间对齐的条件注入。模型在迭代推演中保持状态，以确保长时域策略结果保持稳定。

为了支持可控的机器人世界生成，作者引入了一种统一的控制表示。对于静态头部相机视角，末端执行器位姿图编码了未来的操作意图。对于动态腕部相机视角，射线图存储了射线原点和方向，以区分相机运动与场景动态。这些被连接并编码成统一的潜在控制表示，在自回归生成过程中持续提供。

自回归生成需要同时保持短期运动连续性和长期场景一致性。作者实现了一个分层历史记忆，由第一帧锚点和多尺度时间记忆组成。锚点保留初始场景配置，而长期、中期和短期记忆分别捕获场景级、任务级和运动级信息。在自注意力层中，历史上下文作为未来预测的持久引导源，而交叉注意力仅应用于当前噪声窗口，以从任务描述中注入语义信息。

对于需要跨不同时间阶段平滑语义过渡的长视频生成，作者通过使用球面线性插值（Slerp）来插值文本嵌入，从而避免突然的提示切换。

如下图所示：

给定两个文本嵌入，计算它们之间的角度，并沿球面路径采样中间文本条件。这些插值后的嵌入逐步注入到连续的生成窗口中，允许世界模型从一个语义状态平滑演变到另一个，同时保持嵌入空间的角度结构。

训练过程遵循一个渐进式课程，将机器人领域预训练、自回归推演学习、场景级适应和少步蒸馏分离开来。

如下图所示：

在阶段 1，作者从预训练的视频主干初始化，并在精心筛选的多源机器人语料库上继续训练，以学习双向机器人视频先验。模型使用流匹配目标进行优化，将通用时空知识迁移到具身领域。在阶段 2，使用相对 RoPE、分层历史注入、第一帧锚点和统一控制注入，将双向基础模型转换为自回归世界模型。模型学习根据过去上下文和机器人动作对未来的观测进行去噪。阶段 3 涉及可选的针对特定工作空间部署的低秩适应（LoRA），使模型适应场景特定的外观和光照，同时保持通用动态。最后，在阶段 4，将自回归教师模型蒸馏为少步学生模型以加速推理。可选的 ODE 蒸馏提供热启动，随后是强制性的 DMD2 蒸馏，它结合了教师分布匹配、分数一致性和对抗性监督，以大幅减少去噪步骤产生逼真的推演。

实验

本文引入了 WMBench，一个通过闭环推演和分层度量系统评估世界模型作为策略评估器的基准。通过系统性实验，发现可靠的评估器质量取决于视觉和几何保真度、长时域评估、可迁移的物理先验以及机器人视频与广泛物理视频的平衡数据混合。诸如空间对齐的动作控制和持久记忆等模型设计选择对于精确的轨迹跟踪和长期稳定性至关重要。由此产生的 GigaWorld-1 模型展示了更高的评估器可靠性、稳健的分布外（OOD）泛化能力以及与真实世界策略结果更紧密的对齐。

一个基于 VLM 的标注管线在超过 5,000 个视频上展示了与人类专家评分近乎完美的一致性。预测几乎总是在真实分数的单个评分级别内，大误差极为罕见，并且秩相关性很强，表明 VLM 能够可靠地大规模复制人类的结果评估。相邻准确率达到 0.9916，意味着 VLM 预测与人类评分在 99% 的视频中最多相差一个级别。预测与真实评分相差两个级别的大误差仅发生在 0.84% 的案例中。

将广泛的物理视频（PhysData）添加到仅包含 GigaData 机器人的基线中，获得了最佳的总体评估器质量，将平均指标提高了 0.049，同时显著提升了照片一致性和主体保真度，并在很大程度上保持了轨迹准确性。相比之下，添加 AgiBot 机器人数据也增强了主体和照片一致性，但降低了 JEPA 相似性和轨迹指标，导致平均增益较小，为 0.029。GigaData + PhysData 在 GigaData 基线上取得了最高的平均提高（+0.049），这得益于照片一致性的大幅提升（+0.307）和主体保真度的适度增益（+0.020），而轨迹精度仅有轻微下降（-0.007）。添加 AgiBot 数据提高了主体保真度（+0.140）和照片一致性（+0.303），但显著降低了 JEPA 相似性（-0.243）和轨迹精度（-0.108），将总体增益限制在 +0.029。

动作控制注入世界模型的方式严重影响了其策略评估的可靠性。空间对齐的控制接口，尤其是通道连接的控制图，实现了最佳的轨迹精度和运动连贯性，而交叉注意力控制相较于无控制几乎没有改进，并降低了运动质量。通道连接的控制图在所有指标上领先，提供了最高的轨迹精度、动态程度、运动平滑度、光流分数、主体一致性和光度一致性。交叉注意力控制仅在轨迹精度上提供了边际增益（0.1620 对比无控制的 0.1576），并恶化了动态程度、运动平滑度和光流分数。ControlNet 风格的条件化将轨迹精度提高到 0.2566，比交叉注意力有明显改进，但仍远低于通道连接。

使用 PSNR、FID 和 FVD 评估了超过 40 秒的长时域推演质量。GigaWorld-1 在所有 8 秒间隔内始终取得最佳分数，而 SVD 基线在第一个间隔后显示出质量急剧下降。Cosmos2.5 和 LTX-Video 保持比 GigaWorld-1 更稳定但质量较低的性能。GigaWorld-1 在从 0 到 40 秒的每个 8 秒间隔内都达到了最高的 PSNR 和最低的 FID 和 FVD。SVD 的 PSNR 从 0-8 秒的 14.05 下降到 16 秒后低于 7，其 FID 和 FVD 急剧上升，证实了快速的视觉和时间退化。

GigaWorld-1 实例化了一个设计图，通过将多样化、经过质量筛选的训练语料库与显式的像素对齐动作表示和记忆增强推演相结合，平衡了通用世界知识与机器人特定可控性。结构化监督和相对时间编码进一步稳定了几何形状并减少了漂移，使模型能够作为根据真实世界任务成功率校准的策略评估器，而不仅仅是视觉真实感。训练数据混合了物理视频、开源机器人数据、以自我为中心的视频和 Giga 收集的数据，然后应用质量、运动和分布筛选以去除噪声和静态样本。显式动作接口以像素对齐形式表示末端执行器位姿和射线图，而带有第一帧锚点和分层历史的记忆模块稳定了长时域推演。

一个基于 VLM 的标注管线在超过 5,000 个视频上得到验证，与人类专家评分达到近乎完美的一致性，确认了可靠的结果评估。数据混合实验表明，纳入广泛的物理视频提高了评估器质量，而动作控制接口研究表明，像素对齐的控制图优于交叉注意力等替代方案。超过 40 秒的长时域推演比较揭示，GigaWorld-1 保持了稳定的生成质量，而基线则遭受了剧烈的质量退化。这些评估共同证实，GigaWorld-1 的显式动作表示、记忆增强推演和多样化的训练数据产生了一个适合策略评估的、经过校准的世界模型。