一句话总结

伦敦大学学院和利兹大学提出了 Student Splatting and Scooping（SSS），这是一种面向新视角合成的混合模型。它用灵活的 Student t 分布替代 Gaussian Splatting（高斯泼溅），并允许同时具有正向（泼溅）密度和负向（舀取）密度；同时配以有理论依据的采样优化方法，从而在组件数最多减少 $82\%$82% 的情况下仍实现可比的渲染质量。

核心贡献

• Student Splatting and Scooping（SSS）用灵活的 3D Student t 分布混合取代 3DGS 的高斯泼溅形式，使其能够在新视角合成中表示正向泼溅密度和负向舀取密度。
• SSS 引入了一种有理论依据的、基于 SGHMC 的采样与优化方法，用于学习这种正负 Student t 混合模型，从而获得比标准 3DGS 公式更具表达能力的场景表示。
• 在多个数据集、设置和指标上，SSS 均展现出更高的渲染质量和参数效率；在相似组件数下匹配或超过现有方法，并且以最多减少 82% 的组件数仍可保持可比质量。

引言

作者利用 3D Gaussian Splatting 作为快速神经渲染基础，它已用于几何重建和自动驾驶，其中实时图像合成和参数效率至关重要。现有方法保留高斯和正向密度泼溅，虽然速度实用，但表达能力有限，并且常常需要大量组件来拟合复杂辐射场；相关的 NeRF 和 3DGS 变体也面临渲染效率与图元表达能力之间的权衡。其主要贡献是 Student Splatting and Scooping，它将高斯替换为 Student t 分布，把泼溅扩展到正密度和负密度以同时增加和减去表示容量，并使用 SGHMC 采样来学习最终模型，从而获得更高渲染质量并减少组件数。

数据集

• 作者基于三个既有 3D 场景基准中的 11 个场景构建实验数据集：Mip-NeRF 360、Tanks & Temples 和 Deep Blending。

• 数据集子集结构如下：

  • Mip-NeRF 360：7 个公开场景。
  • Tanks & Temples：2 个室外场景。
  • Deep Blending：2 个室内场景。

• 数据来源选择遵循该领域的既有研究。除使用这些标准基准场景外，论文没有描述额外的筛选规则、场景划分或元数据构建。

• 作者使用该数据集评估 3D Gaussian splatting 及相关新视角合成方法。它们与既有基线比较性能，并报告常见图像质量指标。

• 评估指标为 PSNR、SSIM 和 LPIPS。作者为每个数据集提供平均得分，并指向补充材料查看逐场景详细结果。

• 除使用标准公开场景和标准评估指标外，给定文本未指定裁剪策略、模式或预处理流程。

方法

所提出的方法建立在 3D Gaussian splatting 的混合模型解释之上，将高斯组件替换为更灵活的 Student t 组件，同时引入带符号组件和有理论依据的采样优化器。作者将场景表示视为由许多局部基函数组装而成的非归一化 3D 分布。一个基本组件由位置、形状、不透明度和颜色定义。整体辐射场写成加权混合，穿过图像像素的每条射线会对与该射线相交的组件进行积分。

对于标准 3D Gaussian splatting，辐射场是非归一化高斯混合：

$$P(x)=\sum_i w_i G_i(x), \qquad G(x)=\exp\left(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)\right).$$P(x)=i∑​wi​Gi​(x),G(x)=exp(−21​(x−μ)TΣ−1(x−μ)).

每个高斯关联中心 $\mu$μ、协方差矩阵 $\Sigma = R S S^T R^T$Σ=RSSTRT、不透明度和颜色。渲染时，3D 高斯被投影到 2D 图像平面，并沿射线合成：

$$C(u)=\sum_{i=1}^{N} c_i o_i G_i^{2D}(u) \prod_{j=1}^{i-1}(1-o_j G_j^{2D}(u)).$$C(u)=i=1∑N​ci​oi​Gi2D​(u)j=1∏i−1​(1−oj​Gj2D​(u)).

该形式是加法性且单调的，因为组件权重为正。它在数值上很方便，因为高斯在仿射变换和边缘化下是封闭的，这使投影和梯度计算变得直接。

然后，作者将每个高斯基函数替换为非归一化 Student t 基函数。Student t 组件具有均值 $\mu \in \mathbb{R}^3$μ∈R3、协方差矩阵 $\Sigma = R S S^T R^T \in \mathbb{R}^{3 \times 3}$Σ=RSSTRT∈R3×3 和自由度参数 $\nu \in [1,+\infty)$ν∈[1,+∞)。由此得到的混合为

$$P(x)=\sum_i w_i T_i(x), \qquad w_i > 0,$$P(x)=i∑​wi​Ti​(x),wi​>0,

对应的组件密度为

$$T(x|\nu)= \left[ 1+\frac{1}{\nu}(x-\mu)^T\Sigma^{-1}(x-\mu) \right]^{-\frac{\nu+3}{2}}.$$T(x∣ν)=[1+ν1​(x−μ)TΣ−1(x−μ)]−2ν+3​.

经典 t 分布的归一化标量被省略，因为该混合是非归一化的，而不透明度、颜色和合成权重可以在学习过程中吸收尺度。

关键设计选择在于 $\nu$ν 控制尾部肥度。当 $\nu \to \infty$ν→∞ 时，Student t 组件接近高斯；当 $\nu \to 1$ν→1 时，它接近柯西分布。由于柯西组件比高斯具有更重尾部，因此能以更高密度覆盖更广区域，从而可能减少解释一个场景所需的组件数。由于 $\nu$ν、$\mu$μ 和 $\Sigma$Σ 都可学习，模型不仅能够调整每个组件的位置和尺度，还能调整底层形状族。可参考下图：

这种行为对表示容量很重要。模型可以通过调整 $\nu$ν 表达局部高斯类特征、重尾区域和中间形状。因此，它在紧凑高斯建模与更广泛重尾覆盖之间提供了连续谱，而无需固定一组手工设计的基函数类型。

使用 Student t 组件的第二个原因是它们在投影下仍保持计算可处理性。渲染需要通过仿射变换、近似投影变换和沿射线积分将 3D 组件映射到 2D。投影后的 Student t 密度也具有闭式形式：

$$T^{2D}(u)= \left[ 1+\frac{1}{\nu}(u-\mu^{2D})^T(\Sigma^{2D})^{-1}(u-\mu^{2D}) \right]^{-\frac{\nu+2}{2}},$$T2D(u)=[1+ν1​(u−μ2D)T(Σ2D)−1(u−μ2D)]−2ν+2​,

其中

$$\mu^{2D}=(W\mu+t)_{1:2}/(W\mu+t)_3,$$μ2D=(Wμ+t)1:2​/(Wμ+t)3​,

并且

$$\Sigma^{2D}=(J W \Sigma W^T J^T)_{1:2,1:2}.$$Σ2D=(JWΣWTJT)1:2,1:2​.

这里 $W$W 和 $t$t 编码仿射尺度和平移，而 $J$J 是投影变换的近似雅可比矩阵。该闭式形式使模型能够计算稳定的前向传播和足够精确的梯度，而无需对基组件本身依赖近似。

渲染公式沿用与高斯泼溅相同的 alpha 合成结构，但将投影 Student t 组件代入：

$$C(u)=\sum_{i=1}^{N} c_i o_i T_i^{2D}(u) \prod_{j=1}^{i-1}(1-o_j T_j^{2D}(u)).$$C(u)=i=1∑N​ci​oi​Ti2D​(u)j=1∏i−1​(1−oj​Tj2D​(u)).

随后，作者将模型扩展到纯正向混合之外。通过对组件求和后再平方，可以形成完全非单调混合：

$$P(x)=\left(\sum_i w_i T_i(x)\right)^2.$$P(x)=(i∑​wi​Ti​(x))2.

尽管这通过权重乘积引入负贡献，但它也会在所有组件之间创建成对交互，使评估复杂度增加到 $O(n^2)$O(n2)，并显著减慢优化速度。取而代之的是，作者保留加法混合形式，但允许带符号贡献。在这种设置中，负密度被解释为从渲染结果中减去颜色。组件沿射线的带符号权重可以通过其颜色、不透明度和累积透明度来理解：

$$w_i = c_i o_i \prod_{k=1}^{i-1}(1-o_k T_k^{2D}(u)).$$wi​=ci​oi​k=1∏i−1​(1−ok​Tk2D​(u)).

由于带符号不透明度可能使该混合作为概率分布定义不清，学习目标改为基于能量形式进行参数化。不透明度也使用 $\tanh$tanh 映射进行界定，使组件能够在正向和负向贡献之间切换，同时保持数值可控。负组件的作用如下图所示：

在环形示例中，正向组件可以覆盖整体形状，但也可能填充中心孔洞。位于同一位置的负向组件可以移除中间密度，使拓扑可用更少图元更容易表达。这种减法机制提高参数效率，并帮助模型捕捉孔洞、轮廓和细结构，而无需仅依赖密集正向覆盖。

训练过程被表述为采样，而不仅仅是普通随机梯度下降。作者观察到，Student t 模型会在参数之间引入更紧密耦合，因为改变 $\nu$ν 会有效改变 $\mu$μ 和 $\Sigma$Σ 优化所在的分布族。为处理这种耦合，其使用随机梯度哈密顿蒙特卡洛优化器处理关键几何参数。由于带符号混合不是归一化后验，其定义基于能量的后验：

$$P(\theta,r) \propto \exp\left(-L_\theta(x)-\frac{1}{2}r^T I r\right),$$P(θ,r)∝exp(−Lθ​(x)−21​rTIr),

其中 $\theta$θ 包含可学习参数，$L_\theta(x)$Lθ​(x) 是渲染损失，$I$I 是单位矩阵，$r$r 是类动量辅助变量。能量函数定义了与良好参数值对应的高密度区域，而无需归一化混合密度。

连续采样动态为

$$d\theta = M^{-1}r\,dt,$$dθ=M−1rdt, $$dr = -\nabla U(\theta)dt - C M^{-1}r\,dt + \mathcal{N}(0,2C\,dt),$$dr=−∇U(θ)dt−CM−1rdt+N(0,2Cdt),

其中 $U(\theta)=L_\theta(x)-\frac{1}{2}r^T I r$U(θ)=Lθ​(x)−21​rTIr，$M$M 是质量矩阵，$C$C 控制摩擦和注入噪声。动量项创建逐维惯性，使模型能够自适应地在参数空间中移动，而不依赖单一统一步长。

损失组合了图像重建项和鼓励紧凑性的正则项：

$$L = (1-\epsilon_{DSSIM})L_1 + \epsilon_{DSSIM}L_{DSSIM} + \epsilon_o\sum_i |o_i|_1 + \epsilon_\Sigma\sum_i\sum_j |\sqrt{\lambda_{i,j}}|_1.$$L=(1−ϵDSSIM​)L1​+ϵDSSIM​LDSSIM​+ϵo​i∑​∣oi​∣1​+ϵΣ​i∑​j∑​∣λi,j​​∣1​.

前两项推动与训练图像的光度和结构对齐。不透明度正则项惩罚不必要组件，而特征值正则项鼓励紧凑协方差支撑，有效地促使组件变得局部化和尖锐，除非这些组件确实用于表示场景。

在实践中，采样优化器主要应用于均值参数 $\mu$μ，而其它参数使用标准基于梯度的优化进行更新。作者对 $\mu$μ 使用 SGHMC 更新的自适应版本：

$$\mu_{t+1} = \mu_t - \varepsilon^2 \left[\frac{\partial L}{\partial \mu}\right]_t + F + N,$$μt+1​=μt​−ε2[∂μ∂L​]t​+F+N,

其中

$$F=\sigma(o)\varepsilon(1-\varepsilon C)r_{t-1},$$F=σ(o)ε(1−εC)rt−1​,

并且

$$N=\sigma(o)\mathcal{N}(0,2\varepsilon^{3/2}C).$$N=σ(o)N(0,2ε3/2C).

项 $\sigma(o)$σ(o) 像一个门控，主要为低不透明度组件激活摩擦和噪声。作者用一组稀疏点进行模型初始化，运行无摩擦预热阶段以促进探索，然后使用完整采样动态进行利用。预热期间，噪声按组件协方差缩放，以保持 Student t 组件的各向异性形状。预热后，动量项维持各向异性轮廓，而自适应摩擦和噪声帮助低不透明度组件更自由地移动。

组件维护也通过回收处理，而不是简单删除。优化过程中，一些组件可能变得几乎透明。作者在保持渲染颜色场的同时，将这些低不透明度组件重新定位到高不透明度组件附近。重定位问题表述为

$$\min \int_{-\infty}^{\infty} \|C_{new}(\mu)-C_{old}(\mu)\|_2^2\,d\mu.$$min∫−∞∞​∥Cnew​(μ)−Cold​(μ)∥22​dμ.

一个强制保持颜色的关键约束是

$$(1-o_{new})^N = 1-o_{old},$$(1−onew​)N=1−oold​,

其中 $N$N 是重定位后的组件总数。协方差按感知自由度的方式调整，确保局部密度和渲染颜色保持接近重定位前的值。作者限制每一步仅重定位少量组件以维持稳定性，并引入新的零不透明度组件，它们之后可被回收到有用区域。每个组件最终的可训练变量包括均值 $\mu$μ、定义 $\Sigma$Σ 的缩放和旋转参数、颜色 $c$c、不透明度 $o$o 以及自由度参数 $\nu$ν。

实验

实验使用标准图像重建指标，在三个数据集的多个场景上评估所提出的 SSS，并与代表性 3DGS 变体和 NeRF 基线进行比较。结果显示，SSS 通常提供最佳的整体视觉和量化性能，同时在困难场景中保持高保真。减少组件数的额外实验和定性比较表明，与竞争方法相比，SSS 能用更少组件更有效地捕捉均匀区域和细节，显示其更好的表示能力和参数效率。

在基准数据集上，SSS 整体最强，在多数图像质量指标上排名第一，其余指标上排名第二，仅有一个感知质量结果接近。它还在保持质量的同时使用比基线更少的组件，并且随着组件数减少时性能下降更少。视觉比较表明，在受限预算下，它更一致地处理大均匀区域和细节结构。在比较方法中，SSS 在多数质量指标上领先。相对最接近基线的最大优势出现在 Train 场景。剩余差距主要是 Deep Blending 中轻微感知质量损失。组件数更少时，SSS 比依赖更多高斯的方法更稳定。

实验在基准数据集上将 SSS 与基于高斯的基线进行比较，重点关注图像质量、感知质量以及随着组件预算减少时的鲁棒性。SSS 始终整体最强，在多数质量指标上领先，并在 Train 场景上展现出最大优势；即使组件更少，尽管 Deep Blending 中存在轻微感知质量差距，它仍比基线方法更稳定。视觉比较进一步表明，在受限预算下，它更可靠地保留大均匀区域和细节结构。