一句话总结

Google DeepMind、多伦多大学等机构提出 GenCeption，一种基于预训练视频生成扩散主干的感知模型，它将大规模文本到视频生成作为预训练范式，在深度、表面法线、相机姿态估计、表情参考分割和 3D 关键点预测等多种视觉任务上达到最先进性能，通常与专用模型相当或超越，同时展现出卓越的数据效率（比领先模型少 $7\times$7× 到 $500\times$500× 的训练数据），并对真实世界视频和分布外类别展现出涌现泛化能力，表明视频生成是通向通用视觉智能的基础路径。

核心贡献

• GenCeption 将预训练的文本到视频扩散模型重新用于前馈感知架构，无需迭代采样即可将视频生成中的时空先验和视觉-语言对齐直接转化为文本引导的视觉任务。
• GenCeption 在深度、表面法线、相机姿态、表情参考分割和 3D 关键点估计等任务上，达到与专用模型相当或领先的性能；在可比设置下，视频生成主干优于 V-JEPA 和 Video MAE 等替代预训练范式。
• 该模型展现出卓越的数据效率，以少 7 倍到 500 倍的训练数据匹敌 D4RT 和 VGGT-Ω 等领先专用模型，并表现出涌现泛化能力，从合成人体视频迁移到真实世界视频及包括动物和机器人在内的分布外类别。

引言

计算机视觉领域仍然被分割为专用模型，每个模型都针对特定任务设计定制架构，这与自然语言处理中单一基础模型统一多种挑战的情况不同。以往的感知模型，如 Segment Anything 或 Depth Anything，在单一任务上表现出色，但缺乏对时空动态的内在理解，无法在统一框架下灵活处理多个视觉任务。尽管自监督视频表示学习和扩散模型的重用有所进展，但由于计算成本高、视觉-语言对齐弱或仅关注单图像或单任务输出而缺乏时序一致性，它们难以扩展。

作者提出 GenCeption，一种通用视频感知模型，将大规模文本到视频生成视为通用的预训练范式。通过将预训练的视频扩散主干重新用于单一前馈架构，该模型内化了 4D 世界先验，使视觉与语言对齐，并随数据和计算规模扩展。在多样化合成数据上进行后训练，使 GenCeption 能够使用统一架构执行广泛的像素级、3D 和稀疏感知任务，达到或超越专用最先进模型，同时展现出数据效率、仿真到真实的迁移和分布外泛化能力。

数据集

作者构建了一个合成数据集，以提供训练所需的多模态真值，规避了真实数据集的限制。

• 来源资产与生成 数据集基于 800 个 RenderPeople 人体资产，使用 CMU 动作捕捉数据集中的 200 个动作进行动画。多样化的 3D 完整场景和 HDRI 背景被用作背景，同时变化焦距、相机位置和轨迹以丰富观看条件。最终生成 7,500 个合成视频，涵盖广泛的角色、动作和环境。

• 标注与模态 每个视频提供 RGB 帧，以及深度、表面法线、分割掩码、密集姿态、2D 关键点、3D 关键点和相机姿态的像素级真值。深度、法线和掩码通过 Blender 的单独渲染通道生成。人体关节位置从绑定的 RenderPeople 资产中恢复，作为 2D 和 3D 关键点回归的真值。

• 处理与准备 所有生成的视频被裁剪为视频模型所需的目标帧数。在训练前，离线预处理阶段预计算并缓存 RGB 视频潜在表示、目标模态视频潜在表示以及相应的文本条件嵌入。

• 在模型中的使用 整个合成数据集被用作主要训练源。论文未描述将其划分为训练、验证或测试集，也未说明与其他数据集的混合比例。

方法

作者提出 GenCeption，一个将视频感知重新定义为基于预训练视频生成模型的后训练工作的框架。该方法论由三个基本原则驱动：利用多模态生成预训练进行鲁棒表示学习，在统一架构中采用任务无关的后训练方法，以及将多步生成主干转换为单步前馈感知模型。

整体架构参见框架图。

该模型重用一个文本到视频扩散架构，包括 VAE 编码器-解码器对、文本编码器和基于 Transformer 的潜在扩散模型（DiT）。为了从生成模型转变为感知模型，作者将迭代采样过程替换为单次前向传播。具体地，输入视频的干净潜在表示直接输入 DiT，并将条件时间步固定为 $t=0$t=0 以表示无噪声输入。由于 DiT 在 Rectified Flow 目标下训练以预测速度 $v = \epsilon - x_0$v=ϵ−x0​，在解码前对原始输出取反。取反后的输出 $-v = x_0 - \epsilon$−v=x0​−ϵ 更接近目标视频潜在表示，经验上加速了收敛并提高了性能。

为了在不使用任务特定架构的情况下处理多种视觉任务，作者将密集任务统一在标准的 3 通道 RGB 空间中。单维输出（如深度和分割）复制三个 RGB 通道，而三维任务（如表面法线）使用不同的维度。对于相机姿态等更高维模态，作者采用像素空间的光线图，使其符合 3 通道约束。

如下图所示，6 通道光线数据在空间上被划分，创建一个“Rothko”光线图，将光线原点分配到中心区域，光线方向分配到外围。

这种布局保留了单解码器框架，同时充分利用预训练视觉先验。对于需要结构化输出（如 2D 或 3D 坐标）的稀疏任务，作者在视频潜在表示后附加可学习的 token。MLP 解码这些 token 以预测每帧的目标维度，利用基础 DiT 模型的原生 3D RoPE，并采用可学习的空间位置和插值时序定位。

为支持这一统一架构，作者设计了一个可扩展的合成数据生成工作流。他们利用 RenderPeople 资产和 CMU 动作捕捉数据进行动画，生成以人为中心的各种视频，并附有深度、法线、分割、密集姿态和关键点的真值标注。训练方案采用完全统一的 $L_2$L2​ 损失，在潜在空间应用于密集任务，在输出空间应用于稀疏任务。任务特定的定制完全转移到数据表示上。例如，为解决单目深度估计中的尺度模糊问题，深度图使用中值深度进行归一化，并通过非线性函数 $d' = \text{clip}(\alpha \log(d + 1), 0, 1)$d′=clip(αlog(d+1),0,1) 映射到标准 RGB 范围。这种以数据为中心的协调消除了对专门损失函数的需求，并允许仅通过数据混合比例来管理任务平衡。

实验

评估涵盖广泛视觉任务，包括几何理解、分割和关键点估计，使用基于视频扩散主干、主要在合成数据上训练的统一前馈模型。实验表明，该模型不仅在这些基准上达到或超越专用最先进方法，还展现出从合成视频到真实视频的涌现泛化能力、零样本处理多实例的能力以及分布外类别鲁棒性，同时表现出卓越的数据效率。消融实验揭示了生成式视频预训练的关键重要性，以及对于需要架构修改的任务进行联合训练所面临的挑战，突显了视频扩散模型作为通用时空特征提取器的潜力。

一个主要在合成数据上训练的统一模型，在多种密集预测任务上达到或超越高度专用的最先进模型。它优于专用表面法线估计器，并与领先的深度和相机姿态基础模型竞争，同时受益于前景分割的联合训练。在表面法线估计上，该模型超越了 NormalCrafter 和 Lotus-2 等专用方法。在深度和相机姿态方面，尽管仅使用合成训练数据，该方法与专用基础模型相当或更优。

与 V-JEPA 和 VideoMAE v2 等表示学习方法相比，生成式视频预训练方法（WAN 2.1）在相同的小规模合成数据集上微调后，实现了更优的深度估计。该模型随规模明显扩展，14B 变体在平均精度上优于一个在数量级更多的真实数据上训练的最先进深度模型，这突显了扩散先验的强度以及卓越的数据效率。基于扩散的预训练（WAN 2.1）在 Sintel、KITTI 和 ETH3D 上的深度估计显著优于 V-JEPA 和 VideoMAE v2，尽管所有方法都使用相同的有限合成训练集。将生成主干从 1.3B 参数扩展到 14B 参数，平均 AbsRel 从 0.122 持续降低到 0.093，δ1 从 85.8 提升到 90.7，显示出良好的模型扩展行为。仅在 7,500 个合成视频上训练，14B WAN 2.1 模型就达到了比在 22 个以上数据集、超过 120 万个视频上训练的 DepthAnything V3 更好的平均深度指标（AbsRel 0.093，δ1 90.7），突显了卓越的数据效率。

主要在合成数据上训练的单一模型，在多种密集预测任务上达到或超越高度专用的最先进模型，优于专用表面法线估计器，并与领先的深度和相机姿态基础模型保持竞争力。使用 WAN 2.1 的生成式视频预训练，在相同的有限合成数据集上微调时，深度估计显著优于 V-JEPA 和 VideoMAE v2 等表示学习方法，随模型规模明显扩展，并达到比在数量级更多的真实数据上训练的深度基础模型更好的平均精度，突显了卓越的数据效率。