一句话总结

南洋理工大学、快手科技和香港科技大学（广州）提出 MetaView，一个基于扩散的单目新视角合成框架，将来自前馈几何感知网络的隐式几何先验与度量深度相结合，在大视角变化下实现几何一致性和精确相机控制，显著优于现有方法。

核心贡献

• MetaView 将来自前馈网络（DepthAnything3）的隐式几何先验与度量深度线索相结合，在不进行显式三维重建的情况下，实现大视角变化下的结构一致性和精确相机控制。
• 该框架通过拼接参考图像 tokens 并注入深度衍生的空间信号，增强预训练的文本到图像扩散模型（Qwen-Image-Edit），实现几何感知的新视角合成。
• 在多个数据集上的实验表明，MetaView 在单目大视角场景中显著优于现有方法，并对域外数据具有鲁棒的泛化能力。

引言

作者针对单目新视角合成任务，即从单张图像在任意相机位姿下合成目标视角，这对可扩展的三维感知与生成至关重要。现有的基于扩散的方法要么依赖于显式的稀疏重建，这限制了泛化能力；要么仅通过像素监督学习三维结构，导致大视角变化下的尺度漂移和空间不一致性。作者提出了 MetaView，该框架通过非侵入式的并行注意力层，将来自前馈深度网络的隐式几何先验和最小化三维线索注入预训练的多模态扩散 Transformer 中，从而在不进行显式重建的情况下增强空间感知能力，实现精确的相机控制和鲁棒的合成。

方法

作者处理从单张源图像和目标相机位姿生成新视角的任务。该方法基于预训练的文本到图像扩散模型，并在保持原始骨干网络冻结的情况下，注入显式三维线索和隐式几何先验。整体流程以源图像 $X^{src}$Xsrc、其相机内参 $K$K 和相对目标位姿 $T \in SE(3)$T∈SE(3) 为输入，在流匹配下生成相应的新视角 $X^{gen}$Xgen。

基础模型是 Qwen-Image-Edit，一个使用流匹配训练的多模态 DiT（MM-DiT）。它通过堆叠的多模态注意力块处理图像 tokens $X = [X^{src} : X^{gen}]$X=[Xsrc:Xgen] 和文本 tokens $C$C。在每个块中，特定模态的查询、键和值被拼接并输入自注意力操作，实现跨模态融合。位置信息通过旋转位置编码（RoPE）进行编码：文本 tokens 使用一维 RoPE，而图像 tokens 在网格坐标 $(i, j)$(i,j) 和图像索引 $k$k 上使用二维 RoPE。

为了消除相机位姿与扩散模型隐式学习的场景几何之间的尺度模糊性，作者引入了显式三维线索。他们使用现成的度量深度估计器（DepthAnything3-Metric）从源图像估计度量深度 $z$z。相机内参和外参按照视锥体感知的公式编码到 RoPE 中。具体来说，投影矩阵 $\tilde{P} = [K \ \mathbf{0}^{3 \times 1}] T$P~=[K 03×1]T 用于构建一个块对角旋转矩阵 $D_t^{\text{RoPE}}$DtRoPE​，该矩阵结合了投影衍生部分和网格部分。网格部分将通常的二维 RoPE 扩展为第三个轴，用于下采样深度 $z'$z′，因此每个 token 的位置由 $(i, j, z')$(i,j,z′) 表示。得到的 RoPE 变换通过矩阵乘积应用于注意力查询、键和值，使模型的内部空间感知与相机几何对齐。这种注入提供了显式的度量尺度，无需深度提升等手工设计的重建操作。

除了显式尺度外，相对几何关系对于视角合成至关重要。作者从同一深度估计网络中提取隐式相对几何先验。从 DepthAnything3 选定解码器层提取的中间特征按通道拼接，并通过线性投影形成几何 tokens $G \in \mathbb{R}^{L \times d}$G∈RL×d。这些 tokens 以与 DiT 架构兼容的 token 化形式编码细粒度场景结构。在注意力层中，$G$G 与图像 tokens $X$X 拼接，所有 tokens 共享相同的 RoPE 公式。几何 tokens 和源图像 tokens 被赋予恒等相机位姿 $T^o = \mathbf{I}$To=I 和下采样深度 $z'$z′，而生成的图像 tokens 接收目标位姿 $T$T 和零深度分量。这种设计允许 $X^{gen}$Xgen 关注几何感知的引导，而不直接约束生成的深度。

为了在保留预训练模型丰富语义知识的同时整合这些几何信号，作者采用了并行注意力适配策略。MM-DiT 骨干网络的所有预训练参数被冻结。在原始图像和文本流之外，引入了一个新的几何流。在每个 Transformer 块中，添加了一个并行的图像-几何注意力层，用于建模 $X$X 和 $G$G 之间的交互。其输出与原始图像-文本注意力输出相加。为图像-几何注意力引入了专用的投影参数，而几何 tokens 和图像 tokens 共享相同的前馈网络。线性投影 $W_G$WG​ 将几何 tokens 映射到与图像 tokens 相同的维度，然后进入网络。仅训练这些新添加的参数，使用流匹配损失：

这种设计有效地将显式尺度线索和隐式相对几何先验注入生成过程，实现稳定的新视角合成，而不牺牲预训练扩散模型的泛化能力。

实验

MetaView 在 DL3DV、RealEstate10K 和 Sekai-Real-Walking–HQ 数据集上进行评估，难度等级基于视角重叠程度，并与基于重建和隐式方法的基线进行比较。定性结果表明，MetaView 在任意视角变化下生成连贯的新视角，并具有精确的相机控制，而基线方法则出现尺度漂移、模糊或失真，尤其在大视角变化下。定量评估和提出的 DMD 指标证实了 MetaView 在所有难度级别上的优越性能和鲁棒性，DMD 比低级指标更能反映感知质量。消融实验突出了几何 tokens 和 z 轴条件对于精确空间推理的重要性，并且该方法对多样化的域外场景表现出强大的泛化能力。

在 DL3DV 数据集上，基于重建的方法在简单视角上表现良好，但随着难度增加而急剧下降，而隐式方法由于不精确的视角控制在所有级别上都表现不佳。MetaView 整体上取得了最佳结果，DMD 指标在困难视角上更清晰地区分了方法，而 PSNR 和 SSIM 失去了区分能力。像 ViewCrafter 和 Gen3C 这样的基于重建的方法在简单场景上表现出强大的 PSNR 和 SSIM，但在困难场景上大幅下降，而像 HY-World-1.5 和 Lingbot-World 这样的隐式方法在所有难度级别上始终表现不佳。在困难子集上，PSNR 和 SSIM 无法反映感知质量，但 DMD 指标揭示了明显的性能差距，MetaView 大幅优于所有比较方法。

Gen3C 在 DL3DV 和 Sekai 数据集上所有指标均取得最佳性能，而在 RealEstate10K 上，它在感知指标 LPIPS 和 DMD 上领先，PSNR 和 SSIM 则由 Voyager 和 PE-Field 紧追不舍。DMD 指标揭示了更大的性能差距，特别是在 DL3DV 上，Gen3C 的 DMD 为 20.01，明显低于次优方法。Gen3C 在 DL3DV 和 Sekai 数据集上，在 PSNR、SSIM、LPIPS 和 DMD 方面均优于所有比较方法。在 RealEstate10K 上，Gen3C 取得了最低的 LPIPS（0.2306）和 DMD（9.01），而 Voyager 在 PSNR 上领先，PE-Field 在 SSIM 上领先。

完整模型在所有指标上取得最高分。移除几何 tokens 或 z 轴一致地降低性能，其中 z 轴消融导致 PSNR 和 SSIM 下降最大。当适配到 FLUX.1-Kontext 骨干网络时，该方法优于 PE-Field 基线，展示了跨模型的鲁棒性。消融几何 tokens 降低了 PSNR 和 SSIM，同时增加了 LPIPS 和 DMD，反映出更弱的细粒度结构推理能力。移除 z 轴导致所有变体中最低的 PSNR 和 SSIM，证实了尺度线索对于精确相机控制至关重要。

实验在 DL3DV、Sekai 和 RealEstate10K 数据集上评估了视角合成方法，考察了简单和困难视角下的性能，并验证了所提出模型的组件。基于重建的方法在困难视角上急剧下降，而隐式方法由于不精确的视角控制而表现不佳；MetaView 和 Gen3C 取得了最佳整体结果，DMD 指标揭示了 PSNR 和 SSIM 未能捕捉的感知差异。消融研究表明，几何 tokens 和 z 轴尺度线索对于精确相机控制至关重要，并且该方法在适配到不同骨干网络时仍保持鲁棒性。