一句话总结

图宾根大学、上海科技大学和布拉格捷克理工大学提出 Mip-Splatting，该方法引入 3D 平滑滤波器，根据输入视图诱导的最大采样频率约束高斯基元尺寸，并用模拟 2D 箱式滤波器的 2D Mip 滤波器替换 2D 膨胀，从而消除跨尺度新视角合成中的走样和膨胀伪影。

核心贡献

• Mip-Splatting 为 3D 高斯泼溅加入 3D 平滑滤波器，利用输入视图诱导的最大采样频率约束高斯基元尺寸，减少缩放时的高频伪影。
• 2D Mip 滤波器替换 2D 膨胀并近似物理箱式滤波器成像过程，缓解走样和膨胀问题，同时允许根据输入像素尺寸而非渲染视图尺寸确定滤波器大小。
• 在单尺度图像上训练并在多尺度测试时，该方法在分布外采样率设置下优于当前最优方法，提升了对未见相机位姿和缩放因子的泛化能力。

引言

新视角合成对虚拟现实、机器人和电影制作等应用非常重要，因为它能够从已采集的场景数据生成新的相机视点。Neural Radiance Fields 和 3D Gaussian Splatting 等近期方法实现了高质量重建和实时渲染，但 3D 高斯泼溅在放大或缩小时可能产生可见伪影，尤其是当渲染尺度与训练视图不同时。作者将该问题归因于缺少 3D 频率约束以及使用固定的 2D 膨胀滤波器。为解决该问题，他们提出一种 3D 平滑滤波器，根据训练图像的奈奎斯特极限限制高斯基元频率，并提出一种 2D Mip 滤波器，更好地建模物理成像过程并减少走样。综合这些改动，可提升 3DGS 在未见尺度和采样率下的泛化能力。

方法

所提框架通过采样感知滤波扩展 3D 高斯泼溅。在基线公式中，场景由一组带尺度的 3D 高斯基元 $\{\mathcal{G}_k\}_{k=1}^{K}${Gk​}k=1K​ 表示。每个基元由中心 $\mathbf{p}_k$pk​、协方差矩阵 $\boldsymbol{\Sigma}_k$Σk​、不透明度 $\alpha_k$αk​ 和视点相关颜色 $\mathbf{c}_k$ck​ 参数化。协方差通过正半定参数化约束

$$\boldsymbol{\Sigma}_k = \mathbf{O}_k \mathbf{s}_k \mathbf{s}_k^{\top} \mathbf{O}_k^{\top},$$Σk​=Ok​sk​sk⊤​Ok⊤​,

其中 $\mathbf{s}_k \in \mathbb{R}^{3}$sk​∈R3 控制尺度，$\mathbf{O}_k \in \mathbb{R}^{3 \times 3}$Ok​∈R3×3 是旋转矩阵。

对于由旋转 $\mathbf{R}$R 和平移 $\mathbf{t}$t 定义的相机，每个高斯首先被变换到相机空间：

$$\mathbf{p}_k^{\prime} = \mathbf{R}\mathbf{p}_k + \mathbf{t}, \qquad \boldsymbol{\Sigma}_k^{\prime} = \mathbf{R}\boldsymbol{\Sigma}_k\mathbf{R}^{\top}.$$pk′​=Rpk​+t,Σk′​=RΣk​R⊤.

然后通过局部仿射变换在屏幕空间中近似投影协方差：

$$\boldsymbol{\Sigma}_k^{\prime\prime} = \mathbf{J}_k \boldsymbol{\Sigma}_k^{\prime}\mathbf{J}_k^{\top}.$$Σk′′​=Jk​Σk′​Jk⊤​.

通过丢弃该矩阵的第三个维度，方法得到 2D 协方差 $\boldsymbol{\Sigma}_k^{2D}$Σk2D​ 和对应的 2D 高斯 $\mathcal{G}_k^{2D}$Gk2D​。最终渲染通过深度有序透明度混合完成：

$$\mathbf{c}(\mathbf{x}) = \sum_{k=1}^{K} \mathbf{c}_k \alpha_k \mathcal{G}_k^{2D}(\mathbf{x}) \prod_{j=1}^{k-1} \left(1-\alpha_j \mathcal{G}_j^{2D}(\mathbf{x})\right).$$c(x)=k=1∑K​ck​αk​Gk2D​(x)j=1∏k−1​(1−αj​Gj2D​(x)).

原始方法还应用固定的屏幕空间膨胀算子，以避免退化的亚像素高斯：

$$\mathcal{G}_k^{2D}(\mathbf{x}) = \exp\left( -\frac{1}{2} (\mathbf{x}-\mathbf{p}_k)^{\top} (\boldsymbol{\Sigma}_k^{2D}+s\mathbf{I})^{-1} (\mathbf{x}-\mathbf{p}_k) \right).$$Gk2D​(x)=exp(−21​(x−pk​)⊤(Σk2D​+sI)−1(x−pk​)).

该膨胀会增大小的投影高斯的有效支撑范围，同时保持其峰值响应不变。作者表明，当相机采样率变化时，该设计会引入尺度歧义。在逆渲染过程中，由于膨胀算子掩盖了小协方差，几个不同的 3D 尺度可能产生几乎相同的训练时外观。如下所述，忠实和退化的 3D 表示在原始采样率下可能渲染相似，但放大或缩小会暴露高频侵蚀伪影或过亮与过度膨胀。

为解决该问题，方法引入两个互补组件：3D 平滑滤波器和 2D Mip 滤波器。3D 平滑滤波器受到以下观察启发：从多视图图像重建的辐射场不能包含高于训练图像所采样空间频率的频率。对于以像素为单位的焦距 $f$f 的相机，屏幕空间中一个像素的采样间隔映射到深度 $d$d 处的世界空间间隔：

$$\hat{T} = \frac{1}{\hat{\nu}} = \frac{d}{f}.$$T^=ν^1​=fd​.

因此，可恢复频率的上界为 $\hat{\nu}/2$ν^/2。由于一个基元可能被具有不同深度和焦距的多个相机观测到，作者定义了每个基元的最大采样率：

$$\hat{\nu}_k = \max_{n=1}^{N} \left( \mathbb{1}_n(\mathbf{p}_k)\frac{f_n}{d_n} \right),$$ν^k​=n=1maxN​(1n​(pk​)dn​fn​​),

其中 $\mathbb{1}_n(\mathbf{p}_k)$1n​(pk​) 指示基元中心是否位于相机 $n$n 的视锥体内。该过程根据为该基元提供最精细采样的相机，对每个高斯进行有效的带限处理。该思想在以下图中可视化。

正则化后的 3D 基元通过用低通高斯滤波器卷积原始高斯得到：

$$\mathcal{G}_k(\mathbf{x})_{\mathrm{reg}} = (\mathcal{G}_k \otimes \mathcal{G}_{\mathrm{low}})(\mathbf{x}).$$Gk​(x)reg​=(Gk​⊗Glow​)(x).

因为两个高斯的卷积会产生另一个协方差相加的高斯，该操作可解析实现：

$$\mathcal{G}_k(\mathbf{x})_{\mathrm{reg}} = \sqrt{ \frac{|\boldsymbol{\Sigma}_k|} {|\boldsymbol{\Sigma}_k + \frac{s}{\hat{\nu}_k^{2}}\mathbf{I}|} } \exp\left( -\frac{1}{2} (\mathbf{x}-\mathbf{p}_k)^{\top} \left(\boldsymbol{\Sigma}_k + \frac{s}{\hat{\nu}_k^{2}}\mathbf{I}\right)^{-1} (\mathbf{x}-\mathbf{p}_k) \right).$$Gk​(x)reg​=∣Σk​+ν^k2​s​I∣∣Σk​∣​​exp(−21​(x−pk​)⊤(Σk​+ν^k2​s​I)−1(x−pk​)).

该修改限制了每个高斯相对于训练视图观察到的最大采样率的最高可表示频率。该滤波器与重建几何相关，并可在优化后融合到 3D 基元中。

第二个修改用 2D Mip 滤波器替换基线屏幕空间膨胀，该滤波器近似光在像素面积上的物理积分。该方法不是仅仅膨胀投影高斯，而是使用具有扩展协方差的归一化 2D 高斯：

$$\mathcal{G}_k^{2D}(\mathbf{x})_{\mathrm{mip}} = \sqrt{ \frac{|\boldsymbol{\Sigma}_k^{2D}|} {|\boldsymbol{\Sigma}_k^{2D} + s\mathbf{I}|} } \exp\left( -\frac{1}{2} (\mathbf{x}-\mathbf{p}_k)^{\top} (\boldsymbol{\Sigma}_k^{2D}+s\mathbf{I})^{-1} (\mathbf{x}-\mathbf{p}_k) \right).$$Gk2D​(x)mip​=∣Σk2D​+sI∣∣Σk2D​∣​​exp(−21​(x−pk​)⊤(Σk2D​+sI)−1(x−pk​)).

这里，标量 $s$s 的选择使滤波器在屏幕空间中覆盖约一个像素。这近似了真实成像的箱式滤波器行为，同时保留高斯求值的效率。作者将该算子与限制带宽的 EWA 滤波器区分开来，因为 2D Mip 滤波器旨在建模像素面积积分，而非经验性地控制频率带宽。

训练期间，完整流程遵循标准 3DGS 优化流程。高斯位置、协方差、不透明度和球谐颜色通过反向传播多视图光度损失进行优化，并使用自适应加密与剪枝调整基元数量。唯一额外操作是周期性计算每个基元的采样率，由于高斯中心在优化期间变化，该采样率每 $m$m 次迭代重新计算。一旦 3D 平滑滤波器与基元协方差融合，渲染就遵循与原始方法相同的泼溅工作流，并在投影过程中应用 2D Mip 滤波器以产生采样率感知的透明度合成。

实验

实验在 3DGS 上实现该方法，包含周期性采样率更新以及 2D 和 3D 滤波器，然后在多尺度和单尺度设置下于 Blender 和 Mip-NeRF 360 上评估。Blender 结果验证了强多尺度渲染以及在全分辨率训练、低分辨率测试时的稳健性；该方法避免了基于 3DGS 基线中出现的膨胀和过度平滑。Mip-NeRF 360 测试进一步显示，它在更高分辨率上比先前方法泛化更好，并在训练尺度上与 3DGS 持平，而高斯滤波器近似和周期性采样率更新仍是轻微限制。

在 Blender 上进行多尺度训练与多尺度测试时，该方法在图像质量指标上达到与强前沿方法相当或更优的性能。它显著优于 3DGS 和 3DGS 加 EWA，支持其 2D Mip 滤波器的有效性。它在多数指标上达到或超过领先的多分辨率模型。它在多个分辨率尺度上相对基于 3DGS 的方法获得明显质量提升。

当仅在 Blender 全分辨率图像上训练的模型在更低分辨率上评估时，多数基线在训练尺度附近保持合理，但随着缩小程度增加而退化。所提方法在全分辨率上有竞争力，并在降低的分辨率上表现更好。基于 3DGS 的方法可以在训练分辨率捕捉细节，但在更小尺度测试时质量下降更明显。较低测试分辨率模拟缩小，并通常使渲染质量更难保持。3DGS 在全分辨率上表现良好，但随着分辨率降低而显著下降。EWA 泼溅可能导致图像过度平滑，尤其是在较低分辨率下。

在 Mip-NeRF 360 的单尺度训练和多尺度测试中，所提方法在训练尺度上与先前方法持平，并随着渲染分辨率提高获得更大优势。它在缩放渲染中保持更高画质，而其他方法退化更明显。该趋势表明其在更高采样率下表现更好，且没有明显高频伪影。训练尺度上性能相当，更高渲染尺度上优势明显，缩放评估中退化更低

在标准 Mip-NeRF 360 设置中，模型以相同尺度训练和测试，所提方法与强高斯泼溅基线和其他神经渲染方法保持竞争力。它的质量指标与成熟技术相当，表明在这个具有挑战性的分布内基准上性能稳定且没有退化。该方法与 3DGS 和带 EWA 的 3DGS 表现相当。它在 PSNR、SSIM 和 LPIPS 上保持有竞争力的图像质量。该结果支持其在标准同尺度渲染设置中的有效性。

在 Blender 和 Mip-NeRF 360 上的实验评估了多尺度训练与测试、单尺度训练与多尺度渲染，以及标准同尺度渲染。所提 2D Mip 滤波器提供与基于 3DGS 的基线相当或更好的图像质量，尤其是在偏离训练分辨率进行渲染时，它能更有效地减少走样和退化。在同尺度基准中，它与强神经渲染方法和高斯泼溅方法保持竞争力，表现出稳定的分布内性能。