一句话总结

牛津大学 Visual Geometry Group 与 Meta AI 提出 VGGT，这是一个前馈 transformer，可从一张到数百张视图直接推断相机参数、点图、深度图和三维点轨迹；在不使用后处理视觉几何优化的情况下，其性能超过专门化的单任务模型。

核心贡献

• VGGT 是一个前馈神经网络，可直接从一张、少量或数百张场景图像推断相机内参和外参、点图、深度图和三维点轨迹。该模型在不到一秒内处理图像，并统一了相机参数估计、多视图深度估计、稠密点云重建和三维点跟踪。

• VGGT 生成可直接使用的三维预测，其性能可与依赖缓慢后处理视觉几何优化的先进方法相当，甚至优于这些方法。与捆绑调整结合时，它在所有被评估的三维任务中达到先进结果，并且通常比任务专门化方法显著提升质量。

• 预训练的 VGGT 特征可作为下游任务的有效骨干网络，提升非刚性点跟踪和前馈新视角合成。与现有点跟踪器配合时，这些特征可达到先进跟踪性能。

引言

本文关注三维重建，这是机器人、自主系统和基于图像的渲染中的核心问题，目标是从图像中估计相机参数、深度、稠密几何和三维轨迹。早期系统严重依赖视觉几何和迭代优化，例如捆绑调整，虽然能提高精度，但会增加复杂度和运行时间成本。近期基于学习的方法减少了对几何的依赖，但以往工作往往仍有限制：一些方法仍需要昂贵的后优化，另一些方法只支持成对重建，或只能处理单一三维任务。本文利用一个大型基于 transformer 的前馈网络 VGGT，它能够从一张、少量或数百个视图在数秒内直接预测多个三维属性，并表明这些预测非常实用，尤其在结合轻量级优化时可达到先进质量。

方法

本文将 VGGT 表示为一个基于 transformer 的系统，它将一组 RGB 图像映射到多个与三维相关的输出。给定观测同一场景的图像序列 $(I_i)_{i=1}^{N}$(Ii​)i=1N​，模型定义为

$$f((I_i)_{i=1}^{N})=(\mathbf{g}_i,D_i,P_i,T_i)_{i=1}^{N},$$f((Ii​)i=1N​)=(gi​,Di​,Pi​,Ti​)i=1N​,

其中每一帧与相机参数 $\mathbf{g}_i$gi​、深度图 $D_i$Di​、点图 $P_i$Pi​ 和稠密跟踪特征 $T_i$Ti​ 相关联。相机表示为 $\mathbf{g}=[\mathbf{q},\mathbf{t},\mathbf{f}]$g=[q,t,f]，其中组合了旋转四元数、平移向量以及视场参数。点图和深度图均在第一张图像的坐标系下表示，该图像作为全局参考坐标系。该架构针对除第一帧以外的所有帧被设计为排列等变，因此输入顺序可以灵活变化。

在输入阶段，每张图像通过 DINO 编码器进行分块，得到一组 tokens $\mathbf{t}_i^I\in\mathbb{R}^{K\times C}$tiI​∈RK×C。来自所有帧的 tokens 被组合起来，并输入到一个在逐帧自注意力和全局自注意力之间交替的 transformer 骨干网络。逐帧注意力仅在每张图像内部运行，而全局注意力则跨所有图像的 tokens 运行。这种交替机制使模型在保留逐帧结构的同时，也能聚合跨帧几何信息。该骨干网络使用多层这种交替注意力，并且不依赖交叉注意力层。

在预测阶段，每一帧的 image tokens 会加入一个 camera token 和若干 register tokens 进行增强。第一帧使用一组独立的可学习 tokens，使 transformer 能够识别参考相机。输出 camera tokens 由相机头处理，以预测相机参数。输出 image tokens 使用 DPT 风格的头转换为稠密特征图，然后由卷积层生成深度图和点图。同一个稠密头还输出跟踪特征、不确定性图和点图不确定性。跟踪模块使用 CoTracker2 风格的头实现。它从查询帧特征图中采样查询点特征，将该特征与其他帧的特征图进行相关匹配，并在整个图像集合中预测二维位置。该跟踪过程不要求时间顺序，并可对无序图像集合进行操作。

该方法还强调过完备监督。尽管深度、点图和相机通过几何约束相互关联，但显式训练 VGGT 同时预测所有这些量可提升性能。在推理过程中观察到，将独立估计的深度和相机结合起来，可以得到比仅使用专门点图分支更准确的三维点。这一设计将模型转变为统一的三维预测系统，而不是狭窄的单任务估计器。

同一骨干网络可适配到下游任务。在前馈新视角合成中，源图像由 DINO 转换为 tokens，而目标视角由编码为 tokens 的 Plücker 射线图像表示。这些 tokens 被拼接起来，并由交替注意力 transformer 处理，然后 DPT 头回归目标视角的 RGB 值。值得注意的是，模型并未接收源图像的相机参数，但仍能通过从数据中学习几何来合成新视角。这种适配的定性示例如下所示。

对于动态点跟踪，将 CoTracker2 中的特征提取器替换为预训练的 VGGT 骨干网络。适配后的模型使用 VGGT 为每一帧生成跟踪特征，而其余 CoTracker2 模块使用这些特征来预测二维点轨迹。这种迁移使预训练的无序图像特征可被复用于序列跟踪任务，并在不依赖原始骨干网络的情况下提升跟踪质量。

实验

实验在相机位姿估计、多视图深度、点图重建、图像匹配和下游任务上评估 VGGT，并将其前馈预测与先进优化方法和专门化基线进行比较。在域内和未见数据集上，该模型在保持高速的同时取得较强精度；消融实验表明，交替注意力和联合多任务监督对精确三维推理很重要。微调结果进一步表明，预训练特征能够泛化到新视角合成和动态点跟踪，验证了所学习表示的灵活性。

在未见的 RealEstate10K 数据集和 CO3Dv2 上，基于学习的方法通常比 SfM 基线具有更高的相对位姿精度，其中 MASt3R 和 VGGSfM v2 是所列方法中较强的方案。文中报告的 VGGT 前馈模型在两个数据集上都优于这些替代方法，并且捆绑调整可进一步提升其性能，同时保持较低运行时间。一种同期的快速方法具有所列方案中最短的运行时间，但其位姿精度低于最强基线。在未见数据和 CO3D 评估上，基于学习的前馈方法相比传统 SfM 基线带来明显的精度提升。预测的点图和深度图使 VGGT 能够与捆绑调整结合，从而在不使用传统迭代捆绑调整的高成本下提高精度。

在 DTU 稠密多视图立体基准上，使用已知真实相机的方法取得低误差，而无需相机知识的 DUSt3R 在精度和总体 Chamfer 距离上表现差得多。文中报告的无需相机方法将 Overall 分数从 1.741 大幅降低到 0.382，并与已知相机方法相当。论文将这一增益归因于多图训练，该训练直接学习多视图三角化。已知相机方法通常比 DUSt3R 误差低得多。无需相机的方法在精度和 Overall 上相较 DUSt3R 大幅提升。它接近使用真实相机的方法的误差水平。

在 ETH3D 上，所提出的前馈方法实现了比 DUSt3R 和 MASt3R 更好的点云对齐，并且比它们的全局对齐流程快得多。深度与相机解码产生了最强的精度、完整性和总体 Chamfer 距离结果。这些结果支持将点图估计分解为深度预测和相机预测。前馈预测在所需时间远少于优化式全局对齐基线的情况下仍具有更好性能。由深度头和相机头构建点云，比直接使用点图头更准确。

跟踪头在 ScanNet-1500 双视图匹配基准上提供了最强的相对位姿精度；尽管并非针对该设置专门化，仍超越了此前的先进匹配方法 Roma。在更严格和更宽松的位姿误差阈值下，它都保持更好的 AUC，表明从查询关键点到第二视图对应关系的匹配质量有所提升。在所有报告的 AUC 阈值上，该方法均优于 Roma。该提升在更严格和更宽松的位姿精度指标下都保持一致。较强的双视图对应质量体现在更好的本质矩阵估计和相对位姿估计上。

消融结果显示，同时使用三种训练损失可获得在精度、完整性和总体误差上最佳的点图性能。移除相机损失会导致最大下降，跟踪损失也有明显帮助，而深度损失影响最小。在相同参数量的公平设置下评估所比较的架构，并注意到交叉注意力会随着帧数增加而增加运行时间。所有损失共同使用可产生最低的精度指标、完整性指标和总体误差。对于点图精度而言，相机损失是最重要的辅助目标；与相机损失和跟踪损失相比，深度损失仅带来有限改进。当输入帧数较多时，交叉注意力会增加计算成本。

在 RealEstate10K、CO3Dv2、DTU、ETH3D 和 ScanNet-1500 上，所评估的前馈方法相比 SfM 基线具有更好的相对位姿精度，接近具备相机信息的稠密重建性能，以更低对齐成本改善点云对齐，并在双视图匹配上强于专门化方法。消融实验表明，联合深度损失、相机损失和跟踪损失可获得最佳几何结果，其中相机损失最为关键；同时，随着帧数增加，交叉注意力会额外增加运行时间。总体而言，预测的点图和深度图能够支持高效的捆绑调整以及准确的三维重建和匹配。