一句话总结

来自上海人工智能实验室、中国科学院大学、西湖大学、新加坡国立大学、上海交通大学、浙江大学和中国石油大学的研究人员提出，通用世界模型必须满足“一致性三元组”——模态、空间和时间一致性——才能模拟物理规律，并引入 CoW-Bench 评估模型在多帧推理和约束满足方面的能力，揭示当前系统依赖像素统计而非因果理解。

主要贡献

• 我们提出“一致性三元组”——模态、空间和时间一致性——作为基础理论框架，定义通用世界模型模拟物理现实所需的必要属性，填补当前多模态系统缺乏原则性指导的空白。
• 我们通过这一三元视角分析世界模型架构的演化，展示统一架构如何日益整合感知、语言和推理能力，实现涌现式世界模拟，从孤立模块转向协同的、物理感知系统。
• 我们提出 CoW-Bench，一个新基准，评估视频模型和统一多模态模型（UMM）的多帧推理与生成能力，提供统一指标以衡量单轴与跨轴一致性，揭示当前局限并指导未来向通用世界模拟器的发展。

引言

作者以“一致性三元组”——模态、空间和时间——作为统一理论框架，定义何为真正的通用世界模型。尽管近期视频生成器如 Sora 和统一多模态模型（UMM）展现了令人印象深刻的扩展与整合能力，但它们往往仅模仿视觉合理性，未内化物理规律，常出现结构幻觉、时间漂移和因果违规。先前工作缺乏对世界建模的原则性定义，依赖碎片化、单轴基准，无法测试跨维度一致性。作者的主要贡献有二：第一，他们形式化“三元组”作为物理模拟的必要三元组——语义对齐、几何定位与因果演化——并追踪当前模型如何趋近这一统一范式；第二，他们引入 CoW-Bench，一套新颖评估套件，测试源自“三元组”的18个子任务，强制模型在多帧、长时域和干预驱动场景中满足约束，以区分真实模拟与视觉模仿。

数据集

• 作者使用 CoW-Bench，一个包含1,485个手动构建样本的严格平衡基准，组织为两层结构：模态层（单模态 vs. 跨模态）和任务层（模态、空间、时间维度及其交集）。
• 数据集涵盖18个细粒度子任务，每个含69–91个样本（含50个困难迷宫案例），确保均匀分布，避免因长尾任务频率导致评估偏差。
• 任务复杂度在三个维度变化：（1）指令跨度（7.1–74.8词），测试从原子到多约束指令的语言理解能力；（2）视觉负载（跨模态任务平均2.1元素 vs. 单模态1.6元素）；（3）动态演化（如时间-状态任务平均77.7个动作词），捕捉复杂时间变化。
• 所有样本经过人机协同审计，修正指标偏差并验证语义对齐，确立 CoW-Bench 为可复现的黄金标准。
• 该基准使用逐帧物理状态真值评估模型面对六个核心一致性挑战，区分“生成器”与真正的“世界模拟器”，通过测试多维约束处理能力。

方法

作者利用多阶段架构演进解决模态一致性核心挑战：将异构模态（文本、图像、视频、音频）对齐至统一且物理完备的潜在空间。该过程概念化为求解高维异构流形对齐问题，模型必须克服熵差异与拓扑不匹配。框架基于两个理论假设——柏拉图表示假设与超球面几何假设——指导从直接前馈映射向迭代推理与规划的过渡。

如框架图所示，整体架构围绕三个核心一致性支柱组织：模态、空间与时间。左侧所示的模态一致性涉及将文本描述、图像和音频等多样化输入投射至共享潜在表示。这与理想理论状态——均匀超球面对齐——形成对比，其中文本与视觉概念均匀分布。现实中，如下图所示，存在显著模态差距：高熵、连续的视觉嵌入坍缩为狭窄锥体，而低熵、离散的文本概念保持稀疏，导致错位。

为系统解构该对齐问题，作者追踪多模态架构通过不同范式的演化。旅程始于几何隔离，以 CLIP 和 ALIGN 等双塔架构为代表，使用对比学习将模态投射至共享超球面，但缺乏深层细粒度交互。随后是基于连接器的对齐范式，以 Flamingo 和 BLIP-2 为代表，冻结预训练视觉编码器，引入轻量可学习桥接模块（如 Q-Former 或 Perceiver Resampler）将视觉特征与大语言模型（LLM）语义空间对齐。该设计降低训练成本，为后续 LMM 奠定标准模板。

下一阶段涉及早期融合与统一优化，如 Unified-IO 等模型尝试在单一序列到序列框架内处理所有任务。但该方法暴露深层优化不稳定，因模态间训练动态差异显著，尤其是视觉标记梯度方差高于文本。此阶段关键限制是不对称投影，如 LLaVA 中线性投影层作为低秩压缩器，优先与 LLM 语义对齐，却丢弃生成必需的高频视觉纹理，解释为何此类模型擅长理解却在细节生成上失败。

当前主流范式为正交解耦，如 Stable Diffusion 3.5 和 Emu3 所实现。核心创新在于权重解耦：为文本与图像模态保留独立权重集（$W_{\text{txt}}, W_{\text{img}}$Wtxt​,Wimg​），仅在注意力操作中交换数据。该设计迫使联合损失函数的海森矩阵呈现近似块对角结构，有效隔离模态特定曲率，使不同模态的梯度更新在参数空间中趋向正交。这显著减少梯度冲突，实现更优指令遵循与物理保真度。

最后，框架通过强化学习（RL）引入意图对齐，将焦点从物理表征拟合转向高层语义对齐。在实现正交解耦后，作者引入 RLHF，将对齐重构为超球面流形上的奖励引导搜索。这涉及使用偏好微调（如 SPO 和 VisualPRM）进行逐步评估，并通过 PhyGDPO 引入物理感知反馈，惩罚非物理现象。架构还建立感知-生成协同循环，利用 VLM 作为评判者，创建生成-评估-精炼闭环系统，实现迭代微调与自举，无需外部人工标注即可逼近 VLM 的语义理解上限。

实验

• 新指标如 VCD 和 CoW-Bench 将评估从感知质量转向约束满足，检测传统指标（如 FVD）无法发现的时间闪烁、空间穿透与语义漂移。
• 时间一致性现要求物理因果性与规则演化，而非仅平滑运动；如 Veo 3 等模型展现涌现推理能力，但仍失败于结构化阶段转换与属性动态。
• 空间评估强调拓扑逻辑与物理验证；模型能处理单视角3D，但难以应对跨视角锚定、遮挡更新与方向定位。
• 模态一致性揭示广泛“约束退避”——模型将罕见指令放松为默认值——并即使视觉合理，仍无法将属性绑定至正确实体。
• 复合任务暴露核心世界模型缺陷：视频生成器产生流畅运动但缺乏持久世界状态，而图像模型更擅长维持约束却缺乏时间连续性。
• CoW-Bench 的原子分解支持诊断评分，揭示顶级模型在局部合理性上表现优异，但在多步、多维一致性要求下崩溃。
• 跨模态的关键瓶颈非视觉保真度，而是语义定位、时间编程与变换下维持不变世界状态——这些是真正世界建模所必需的特质。

作者使用跨代评估表明，引入世界模型先验的模型（如 Google Veo 3）在时间一致性与物理合规性方面表现更优，同时保持最小高频伪影（由 VCD 测量）。结果显示，这些模型也展示强大因果推理能力，任务成功率超70%，表明从感知平滑转向物理基础、规则遵循的生成。相比之下，早期范式即使输出视觉连贯，仍表现出更高频不稳定与较弱物理规律遵循。

作者使用 CoW-Bench 评估各模型的时间一致性，揭示视频生成器虽擅长维持视觉连续性（Worldline），却在规则引导演化与阶段有序转换上挣扎。图像模型，尤其是闭源模型，在时间约束与结构化进展上表现更强，表明当前视频模型优先平滑运动而非因果、指令遵循的动态。结果显示闭源与开源模型间存在明显性能差距，后者常无法维持一致状态演化或执行离散时间逻辑。

作者使用 CoW-Bench 评估世界模型在模态、时间与空间一致性上的表现，揭示即使视觉合理的输出常无法满足明确约束（如方向定位、属性绑定或因果事件时序）。结果显示，顶级闭源图像模型在维持稳定指称与执行基于规则的动态方面优于视频生成器，而开源视频模型在要求持久世界状态维护的复合任务中常崩溃。这凸显根本差距：当前视频模型依赖像素插值而非物理推理，导致在要求长时域约束满足的跨一致性场景中失败。

作者使用 CoW-Bench 评估世界模型在单一致性与复合一致性任务上的表现，揭示模型虽在孤立的模态、空间或时间约束上表现良好，但在需同时维持多个维度时显著挣扎。结果显示，跨一致性任务——尤其要求同步模态-空间-时间推理的任务——暴露在动态演化下维持稳定世界状态的根本缺陷，表明当前模型更依赖感知插值而非真正的物理或因果推理。

作者使用 CoW-Bench 评估世界模型在时空一致性任务上的表现，揭示尽管许多模型生成视觉平滑运动，却常无法维持持久空间结构或执行目标导向轨迹。结果显示，如 GPT-Image-1.5 等表现最佳模型在结构与环境稳定性上得分高，但多数视频生成器在核心导航任务（如正确到达目标或保持轨迹连续性）上挣扎。这表明当前视频模型优先感知平滑性，而非在动态序列中维持连贯、物理基础的世界状态。