一句话总结

南京大学等提出未来块预测（Future Chunk Prediction, FCP），这是一种与自回归视频扩散的教师强制去噪联合优化的辅助目标，可在不接触中间视觉上下文的情况下预测时间上分离的块，并在较低训练计算预算下改善物理合理性，同时保持自回归推理不变，并产生更具结构化的表示。

核心贡献

• 未来块预测（FCP）被引入作为自回归视频扩散的辅助目标，在不接触中间视觉上下文的情况下预测时间上分离的块，并与标准教师强制去噪联合优化。
• FCP 直接利用训练视频进行监督，无需额外的预训练视觉编码器，并在推理时移除辅助预测器，从而保持自回归推理不变。
• 受控比较显示，与标准教师强制自回归训练相比，在各模型规模和条件设置下以更低的总训练计算预算改善了物理合理性，并且可视化结果表明 FCP 培育了更具结构化的表示空间。

引言

自回归视频生成通过按块时间展开来扩展视觉序列，在生成每个新块时以上文为条件，是生成式世界建模的一条有前景的路线。然而，标准教师强制训练通常会形成捷径：由于相邻视频块在外观和运动上高度相似，模型可能依赖局部视觉连续性，而不是学习场景实际如何演化。先前工作主要通过因果少步生成器、自生成历史、上下文管理或与外部预训练编码器对齐来改善 rollout 质量，但这些方法可能带来复杂性或扩展性限制。作者引入未来块预测（FCP），这是一种仅用于训练的辅助目标，它从中间表示预测时间上分离的未来块，而不向模型暴露中间的真值上下文，也不要求外部预训练特征，并表明该方法改善了物理合理性，同时诱导出更具结构化的时空表示。

数据集

作者使用的训练混合数据来自两个来源：

• 内部来源视频：通用真实世界视频，不含物理模拟器数据。本文本节未说明该子集的确切视频数量或总时长。
• WISA-80K：一个已有的视频数据集，使用其原始文本标注。该名称暗示包含 80K 个示例，但节选未重述其确切规模或收集细节。

筛选与处理：

• 仅选择时长超过五秒的视频。
• 每个所选视频大约使用前五秒，因此时间裁剪固定为开头片段。
• 视频按对应模型的默认帧率采样。
• 保留每个来源的原始文本标注，不进行重写或重新标注。

训练用途：

• 两个来源混合后用于训练。
• 本节未说明内部来源视频与 WISA-80K 的确切混合比例。
• 训练不包含物理模拟器视频，但作者指出模拟器数据可能在未来工作中改善物理合理性。

方法

作者采用教师强制训练范式进行自回归视频生成，其中历史上下文直接取自真值视频。在流匹配框架下，采样高斯噪声和流时间，沿线性概率路径扰动目标块。模型以干净的前序块和文本条件为条件预测对应速度，并优化以下目标：

$$\mathcal{L}_{\mathrm{TF}}(\theta) = \mathbb{E}_{\mathbf{x}_{1:K}, \mathbf{c}, k, t, \boldsymbol{\epsilon}_k} \left[ \| \mathbf{v}_\theta(\widetilde{\mathbf{x}}_{k,t}, t, \mathbf{x}_{<k}, \mathbf{c}) - (\boldsymbol{\epsilon}_k - \mathbf{x}_k) \|_2^2 \right]$$LTF​(θ)=Ex1:K​,c,k,t,ϵk​​[∥vθ​(xk,t​,t,x<k​,c)−(ϵk​−xk​)∥22​]

然而，视频的强时间冗余使得紧邻的前序正确上下文能够为当前块去噪提供大量支持。这降低了对时间推进的捕捉压力，并可能阻碍学习能捕捉视觉演化的表示。为解决该问题，作者引入未来块预测（FCP），在下一块去噪之外补充一个辅助任务，从同一视频预测时间上更远的块。由于视觉上下文中排除了中间块，该任务减少了模型对局部时间连续性的依赖。

形式上，FCP 要求可用上下文支持更远目标的预测：

$$p_{\mathrm{FCP}}(\mathbf{x}_{k+\Delta} \mid \mathbf{h}_k), \quad \Delta \ge 1$$pFCP​(xk+Δ​∣hk​),Δ≥1

其中 $\Delta$Δ 是以块为单位的整数时间偏移。辅助预测不以完整历史或显式文本为条件，而以生成器中对应第 $k$k 块的中间隐藏状态 $\mathbf{h}_k$hk​ 为条件。这鼓励以更紧凑的方式编码预测信息。

未来块预测框架的整体架构如下图所示。

对于自回归生成器，作者采用标准视频扩散模型，其主干由具有块因果注意力的堆叠扩散 transformer（DiT）模块组成。辅助预测器采用该 DiT 架构的轻量化版本，并使用一组独立参数。该设计包含若干关键组件。第一，在源表示方面，系统提取与第 $k$k 块相关的中间特征，覆盖干净状态和噪声扰动状态。干净上下文为后续块生成提供历史信息，而噪声目标则被逐步去噪以生成当前块。两类表示都通过未来预测监督进行正则化。

第二，框架采用并行未来预测设计。每个未来偏移都有单独的预测器，直接以当前块的隐藏状态为条件，而不是以先前预测器的隐藏状态为条件。这种并行结构消除了偏移之间的信息流动，防止出现可能削弱源表示对未来演化编码压力的捷径。

第三，在特征条件化方面，模型从多个生成器层提取特征，在对应 token 位置沿通道维度拼接，并用多层感知机融合。这些融合特征通过逐 token 的自适应层归一化调制注入每个辅助 DiT 模块，从而在时空位置上保持细粒度条件化。最后，架构采用非对称文本条件化。与以文本为条件的主生成器不同，辅助预测器在每个 DiT 模块中省略文本交叉注意力。这种非对称性阻断了文本提示泄露未来事件线索的直接路径，促使预测器严格依赖生成器的源表示，同时降低计算成本。

在训练期间，作者使用流匹配联合优化自回归生成器和辅助预测器。对于预定义集合中的每个偏移，单独的辅助预测器遵循流匹配目标，并以干净或噪声源表示为条件。每个辅助预测都会重新采样目标噪声和流时间。最终联合目标形式为：

$$\mathcal{L}_{\mathrm{total}} = \mathcal{L}_{\mathrm{TF}} + \sum_{\Delta \in \mathcal{D}} w_\Delta \frac{\mathcal{L}_\Delta^{\mathrm{clean}} + \mathcal{L}_\Delta^{\mathrm{noisy}}}{2}$$Ltotal​=LTF​+Δ∈D∑​wΔ​2LΔclean​+LΔnoisy​​

其中 $w_\Delta$wΔ​ 控制每个偏移的贡献。辅助损失通过源表示反向传播到生成器。在推理时，所有 FCP 专用模块都被丢弃，保留与教师强制基线相同的自回归生成器和 rollout 流程，且无额外开销。

实验

实验评估了针对自回归视频生成器的未来条件预测，这些生成器从 Wan 检查点初始化，并采用图像到视频训练与物理合理性基准，其中主要是 Physics-IQ Verified。FCP 在模型规模和条件设置上均一致地改善了教师强制的物理合理性，并在多米诺骨牌倾倒和上升水位等时间动态方面带来定性提升。消融实验将这些收益归因于对干净上下文和噪声目标表示的正则化、采用并行而非链式未来预测，以及从辅助预测器中移除文本，同时保持与教师强制相当的训练效率。表示分析进一步表明，FCP 产生的特征更具选择性且时间对齐更好。

Physics-IQ Verified 比较显示，5B 模型在整体物理合理性上优于若干更大的双向视频生成器，包括 Wan2.2-14B、HunyuanVideo-1.5 和 Cosmos3-Nano。未来条件预测在 1.3B 和 5B 规模上均一致优于教师强制，在图像到视频和视频到视频设置中均有所提升。由于训练数据和实验配置不同，跨模型差异需谨慎解读。5B 模型在整体 Physics-IQ 分数上优于 Wan2.2-14B、HunyuanVideo-1.5 和 Cosmos3-Nano 等更大的双向模型。未来条件预测在 1.3B 和 5B 模型上均使 IQ 优于教师强制。定性示例显示，未来条件预测保留了教师强制遗漏的物理动态，如多米诺骨牌倒向和水位上升。

在 Wan2.2-TI2V-5B 上的受控比较显示，加入未来条件预测在图像到视频和视频到视频设置中均改善了 Physics-IQ，相比教师强制，并行的五偏移配置带来最大提升。链式未来预测仅在图像到视频上有微弱提升，且未改善视频到视频性能，而非连续偏移同样优于教师强制。总体而言，并行未来预测似乎是更有效的物理合理性方案。五偏移 FCP 配置在比较变体中取得了最高的 I2V 和 V2V IQ 分数，分别从教师强制的 30.4 提升到 33.8，以及从 40.6 提升到 44.4。链式 FCP 变体相较教师强制仅有微弱的 I2V 提升，且 V2V IQ 略低，未能改善视频到视频性能。

在匹配的训练设置下，向 Wan2.2-TI2V-5B 教师强制基线中加入未来条件预测，在 WorldModelBench 和 PAI-Bench-G 上带来一致改善。物理规律和常识方面的提升尤为明显，而指令遵循的提升较温和。受控 PhyGround 比较同样在 IQ、图像到视频和视频到视频指标上有利于 FCP。在 WorldModelBench 上，FCP 相对教师强制在物理规律和常识上的改善比指令遵循更明显。在 PAI-Bench-G 上，FCP 在 AV、常识和人类指标上均超过教师强制基线。在基于 PhyGround 的比较中，FCP 改善了各模型规模上的 IQ 分数，并增强了图像到视频和视频到视频条件性能。报告中的提升出现在匹配训练设置下，表明未来预测监督才是关键因素，而非数据或计算差异。

消融实验显示，结合干净上下文和噪声目标组件能在物理合理性上相较教师强制带来最大提升，而默认的并行未来预测设置取得了最高的整体 IQ 和 SP 分数。在辅助预测器中加入文本条件或使用链式预测都会使 IQ 分数相对于默认配置降低。结果支持仅视觉的并行未来预测为最有效的已评估设计。结合干净上下文和噪声目标组件对 IQ 的改善超过任一组件单独使用。向辅助预测器添加显式文本条件会降低 IQ，相对默认设置更低。并行未来预测的 IQ 分数高于链式替代方案。默认配置在比较变体中取得了最高的 SP 分数。

实验在图像到视频和视频到视频设置下评估了未来条件预测与教师强制的对比，使用 Physics-IQ 及其他物理合理性基准。一个 5B 模型在 Physics-IQ 上优于若干更大的双向视频生成器，且未来条件预测在 1.3B 和 5B 规模上一致改善物理合理性，优于教师强制。受控和匹配训练比较显示在 Physics-IQ、WorldModelBench、PAI-Bench-G 和 PhyGround 指标上有所提升，尤其在物理规律和常识方面。消融实验表明，结合干净上下文和噪声目标组件的并行仅视觉未来预测是最有效配置，而链式预测和新增文本条件会降低性能。