一句话总结

帝国理工学院提出 Heat Kernel Textures（HKTex），一种无需 UV 的纹理表示方法。它用直接在三角网格表面上通过离散黎曼几何定义的各向异性热核替代高斯，消除接缝和扭曲等 UV 展开问题，同时减少内存占用，并能够与基于物理的渲染器集成。

核心贡献

• Heat Kernel Textures（HKTex）为三角网格引入了内在纹理表示，用通过黎曼 Laplace-Beltrami 算子定义的各向异性热核取代 UV 映射纹理，从而消除接缝、扭曲、UV 空间浪费、顶点复制和分辨率变化。
• 该方法提供面向表面的热核优化和自适应致密化，并与可微分基于物理的渲染器集成，能够从现有纹理或多视图图像优化核位置与表面外观，同时保持与网格几何一致。
• 报告称，谱热核公式的运行速度比稀疏线性系统热扩散仿真约快一个数量级，并能够扩展到高分辨率网格，从而压缩现有 UV 纹理，并直接从多视图图像重建反照率。

引言

渲染和三维内容管线仍然严重依赖 UV 映射纹理。UV 纹理在网络游戏、虚拟现实、增强现实和视觉特效中应用广泛，但会引入接缝、分辨率失真和冗余顶点存储。先前使用神经场或点云的尝试减少了手动展开，但仍常常需要大内存、拓扑相关结构或大量图元，而 3D Gaussian Splatting 无法贴合表面，因为其图元位于环境欧氏空间中。该研究提出 Heat Kernel Textures，一种网格内在纹理表示，用直接在表面上通过黎曼优化和流形感知密度控制进行评估的各向异性热核，取代 UV 映射和欧氏高斯。该方法支持可微分基于物理的渲染、纹理压缩，以及无需 UV 映射的多视图图像外观重建。

数据集

• 实验使用来自 Objaverse 的精选子集，该数据集是来自在线三维资产的抓取集合。

• 经过过滤后，最终数据集包含约 3000 个高质量模型。

• 来源过滤：对象必须具有 LVIS 类别标签、有效纹理，以及至少一个社区点赞和一次浏览。点云和动画模型会被移除。

• 计算过滤：网格顶点数最多限制为 60000 个。

• 针对 HKTex 兼容性的几何过滤：若网格具有多个不连通分量、非流形几何或复杂内部结构，则被排除。复杂内部结构定义为：从对象边界框上的规则网格发出的任一射线具有超过 20 个交点。

• 数学过滤：如果 Laplace-Beltrami 算子的特征分解失败，则模型被拒绝，因为该方法依赖其特征函数。

• 在多视图图像拟合中，网格使用反照率作为唯一纹理贴图进行渲染。

• 论文未在上述过滤标准之外描述显式训练集、验证集、测试集划分、混合比例、裁剪规则或额外元数据格式。

方法

所提出的 HKTex 模型将表面纹理表示为直接位于流形网格上的一组内在且网格连续的热核。该方法不把颜色分配给纹理坐标或顶点属性，而是将纹理视为 $S$S 个可优化核的集合。每个核参数化为

$$\kappa = \left(p^{\star}, \theta, \eta, \tau, \varsigma, \mathbf{c}\right),$$κ=(p⋆,θ,η,τ,ς,c),

其中 $p^{\star}$p⋆ 是表面上的热源位置，$\theta$θ 和 $\eta$η 控制方向性和各向异性扩散行为，$\tau$τ 控制核的空间范围，$\varsigma$ς 控制边界锐度，$\mathbf{c}$c 是核颜色。所有核参数联合优化。

对于表面上的查询点 $\boldsymbol{p}$p，热核使用连续谱公式进行评估

$$h_t \big(\boldsymbol{p}, \boldsymbol{p}^{\star} \mid \theta, \eta\big) = \sum_{k=1}^{K} e^{-t\lambda_k^{\eta,\theta}} \varphi_k^{\eta,\theta}(\boldsymbol{p}) \varphi_k^{\eta,\theta}(\boldsymbol{p}^{\star}) m^{\star},$$ht​(p,p⋆∣θ,η)=k=1∑K​e−tλkη,θ​φkη,θ​(p)φkη,θ​(p⋆)m⋆,

其中 $\lambda_k^{\eta,\theta}$λkη,θ​ 和 $\varphi_k^{\eta,\theta}$φkη,θ​ 是与各向异性扩散算子相关联的特征值和特征函数，$t$t 是扩散时间，$m^{\star}$m⋆ 是源质量。由于扩散会将能量从源点扩散出去，较大的核往往会失去峰值强度。为了保持优化稳定，每个核都进行归一化，使源位置处的值为 1：

$$\bar{h}_t \big(\boldsymbol{p} \mid \boldsymbol{p}^{\star}, \theta, \eta\big) = \frac{ h_t \big(\boldsymbol{p}, \boldsymbol{p}^{\star} \mid \theta, \eta\big) }{ h_t \big(\boldsymbol{p}^{\star}, \boldsymbol{p}^{\star} \mid \theta, \eta\big) }.$$hˉt​(p∣p⋆,θ,η)=ht​(p⋆,p⋆∣θ,η)ht​(p,p⋆∣θ,η)​.

由于截断谱核可能具有较弱的远距离支撑，并可能产生振铃伪影，模型使用双调和距离高斯权重。两个表面点之间的平方双调和距离由各向同性特征属性计算得到：

$$d_{\mathrm{BH}}(\boldsymbol{p}, \boldsymbol{p}^{\star})^2 = \sum_{k=1}^{K} \frac{ \left( \varphi_k^{\mathrm{iso}}(\boldsymbol{p}) - \varphi_k^{\mathrm{iso}}(\boldsymbol{p}^{\star}) \right)^2 }{ \left(\lambda_k^{\mathrm{iso}}\right)^2 }.$$dBH​(p,p⋆)2=k=1∑K​(λkiso​)2(φkiso​(p)−φkiso​(p⋆))2​.

归一化后的核随后乘以高斯衰减项：

$$\tilde{h}_t \big(\boldsymbol{p} \mid \boldsymbol{p}^{\star}, \theta, \eta\big) = \bar{h}_t \big(\boldsymbol{p} \mid \boldsymbol{p}^{\star}, \theta, \eta\big) \cdot \exp\left( -\frac{ d_{\mathrm{BH}}(\boldsymbol{p}, \boldsymbol{p}^{\star})^2 }{ 2\sigma_{\mathrm{BH}}^2 } \right).$$h~t​(p∣p⋆,θ,η)=hˉt​(p∣p⋆,θ,η)⋅exp(−2σBH2​dBH​(p,p⋆)2​).

这会产生一个局部支撑的测地核，其响应随与源点距离增加而衰减。模型不依赖调整扩散时间来控制核尺度，而是应用软阶跃滤波函数，对范围和锐度提供显式控制：

$$\alpha(\boldsymbol{p} \mid \boldsymbol{p}^{\star}, \theta, \eta, \tau, \varsigma) = \frac{ \xi\big(\tilde{h}_t(\boldsymbol{p} \mid \boldsymbol{p}^{\star}, \theta, \eta)\big) - \xi(0) }{ \xi(1) - \xi(0) }, \quad \xi(x) = \sigma\big(\varsigma \cdot (x-\tau)\big),$$α(p∣p⋆,θ,η,τ,ς)=ξ(1)−ξ(0)ξ(h~t​(p∣p⋆,θ,η))−ξ(0)​,ξ(x)=σ(ς⋅(x−τ)),

其中 $\sigma(\cdot)$σ(⋅) 是 sigmoid 函数。该滤波步骤将核值保持在有界范围内，同时允许核保持柔和且测地，或者变得更锐利、更局部化。

表面点处的最终颜色由覆盖该点的最强核贡献聚合形成。对于每个表面位置 $\boldsymbol{p}$p，模型识别贡献最大的核，并在这些核上形成 alpha 加权单位分解。得到的颜色作为残差添加到可优化的全局基础颜色上：

$$C(\boldsymbol{p}) = \mathbf{c}_{\mathrm{base}} + \frac{ \sum_{s \in \mathcal{K}(\boldsymbol{p})} \alpha_s(\boldsymbol{p}) \mathbf{c}_s }{ \sum_{s \in \mathcal{K}(\boldsymbol{p})} \alpha_s(\boldsymbol{p}) },$$C(p)=cbase​+∑s∈K(p)​αs​(p)∑s∈K(p)​αs​(p)cs​​,

其中 $\mathcal{K}(\boldsymbol{p})$K(p) 表示所选的局部核子集。该设计在重叠核之间提供受控混合，同时未被任何核覆盖的区域自然回退到基础颜色。

一个关键计算挑战是，每个核可能具有不同的各向异性和方向，并且如果直接为每个核配置评估热核，则在优化过程中需要构建并分解唯一的各向异性 Laplace-Beltrami 算子。为了避免这种开销，作者在离散化的角度和各向异性参数空间中预计算谱基。各向异性值被映射到对数空间 $s=\ln(1+\eta)$s=ln(1+η)，以免较大各向异性主导网格密度。每个网格节点存储预计算的特征值和特征向量。对于具有参数 $(\theta,\eta)$(θ,η) 的连续查询，模型定位包围该点的网格单元，并执行双线性插值：

$$\boldsymbol{\Phi}_{\eta,\theta}^{\mathrm{q}} = \sum_{(a,b) \in \mathcal{C}} w_{a,b} \boldsymbol{\Phi}_{a,b}^{\ddagger}, \quad \boldsymbol{\Lambda}_{\eta,\theta}^{\mathrm{q}} = \sum_{(a,b) \in \mathcal{C}} w_{a,b} \boldsymbol{\Lambda}_{a,b}^{\ddagger}.$$Φη,θq​=(a,b)∈C∑​wa,b​Φa,b‡​,Λη,θq​=(a,b)∈C∑​wa,b​Λa,b‡​.

局部坐标 $\Delta\theta$Δθ 和 $\Delta s$Δs 确定来自四个相邻网格角的插值权重。

由于独立分解得到的特征基可能因排列、旋转和符号翻转而不同，该方法在插值前包含对齐步骤。排列歧义通过将每个基与参考基进行质量加权互相关矩阵比较，并使用匈牙利算法解决。剩余的歧义通过奇异值分解求解质量加权正交 Procrustes 问题处理。最后使用由对齐后的基推导出的对角符号项进行符号校正。这会产生一个能够可靠插值的一致谱字典。

该模型还将核位置与网格顶点解耦。预计算的谱量最初仅定义在顶点处，但核和查询点可以位于表面上任意位置。为了在任意表面位置 $\boldsymbol{p}$p 评估顶点定义的谱量 $\mathbf{A}$A，该方法在所属三角形内部使用重心插值，紧凑写为 $b^p(\mathbf{A})$bp(A)。这使表示保持连续，并允许热源离开顶点。

在每个目标点直接评估每个核会过于昂贵。该方法利用双调和加权带来的局部性来降低成本。谱嵌入定义为

$$\mathbf{Z} = \bar{\Phi}^{\mathrm{iso}} \left(\Lambda^{\mathrm{iso}}\right)^{-1},$$Z=Φˉiso(Λiso)−1,

其中该嵌入空间中的欧氏距离被用作流形上双调和距离的代理。核源点和目标点被映射到该嵌入空间，最近邻搜索只为每个目标点选择少量相关源点的局部集合。系统不会全局评估所有核，而是只检索所选局部核所需的插值谱基。随后仅针对附近源点计算核值，从而将每个点的评估代价降低为与保留邻居数量成正比的局部复杂度。

热核公式还需要源质量。该方法指出，直接插值离散质量矩阵并不合适，因为顶点质量与采样密度绑定。核密度估计方法可以近似逐点质量，但实践中给所有源赋予单位质量效果良好，并且速度快得多。由于核评估依赖于作为线性标量的质量，其余核参数可以在优化过程中进行补偿。

测地优化是该设计的另一个重要组成部分。核源点必须保持在流形表面上，因此标准欧氏梯度更新会将它们拉入表面或拉离表面。该方法转而采用黎曼梯度下降策略。首先将梯度投影到当前核位置的切平面上。该投影梯度定义速度向量，并使用指数映射使源点沿表面上的测地线移动。使用动量时，动量从旧位置平行移动到新位置。这使所有源点运动保持为网格内在运动，同时保持平滑优化轨迹。

密度控制采用与 Gaussian splatting 方法类似的风格。优化期间，系统跟踪每个核的命中次数和能量得分。命中次数衡量在颜色形成过程中某个核作为最强贡献者之一被选中的频率，而能量得分则在累积窗口内聚合其滤波贡献。命中次数低或能量低的核会被移除，以降低开销。相反，导致高重建误差的核会被致密化。空间颜色误差根据贡献核的单位分解权重分配给这些核。随后，高误差核会被复制或删除。小的核会在原地复制，使优化器能够自然分离它们，而较大的核则沿其主测地方向偏移并拆分为更小的核。最大增长比例限制每一步可添加的核数量，以维持稳定性。

最终表示是连续评估的，因此可以直接集成到基于物理的渲染管线中。在可微分渲染器中，当射线与网格在任意表面点相交时，渲染器识别局部相关核，并使用相同的核聚合规则评估颜色。来自渲染像素的梯度可以通过评估器反向传播到所有内在核参数。

训练可以通过两种主要方式进行。如果有真实 UV 纹理可用，模型在网格表面上密集采样点，在这些位置评估 HKTex 颜色，并最小化相对于从 UV 纹理获得颜色的光度误差。如果只有多视图图像可用，则模型通过可微分渲染器优化。采样相机视角，收集与网格相交的射线，并将渲染颜色与真实像素比较。在两种设置中，优化通过端到端梯度更新核位置、方向、各向异性、范围、锐度、颜色以及基础颜色。

实验

实验在过滤后的 Objaverse 子集上评估 HKTex，使用渲染的多视图评估和存储核算。UV 纹理拟合将该方法与神经场、基于图像的表示和顶点颜色基线进行对比，并在相同内存预算下比较结果，表明 HKTex 提供了紧凑的绑定表面表示，同时在保留结构细节和锐利边界方面比若干替代方法更有效。多视图逆向渲染进一步验证了其从稀疏观测恢复外观的能力，在更低存储下获得较好的感知质量和结构质量，虽然核评估会增加开销，但这种开销可被渲染成本部分抵消。

在精选的 Objaverse 子集上，UV 纹理拟合显示，内在基线和显式基线在重建质量和内存需求上差异很大。高分辨率真实顶点颜色能够给出强纹理复现，但需要大量存储，而低分辨率 UV 纹理和 ImageGS 可以保持较适中预算，但纹理保真度较弱。报告称，HKTex 在相当或更小存储下保留了更锐利的边界和更忠实颜色分布。HKTex 在相似或更小的存储预算下保留更锐利的纹理边界和更忠实颜色分布。高分辨率顶点颜色在基于顶点的选项中提供最强纹理复现，但需要显著更多内存。神经基线需要大存储才能接近重建质量，而 ImageGS 在图元数量受限时可能出现伪影。

HKTex 在感知指标、结构指标和误差指标上达到最强重建质量，同时比对比的神经表示使用更少存储。它在整体外观质量上也略优于高分辨率顶点颜色，同时所需存储相似或更低。其渲染时间更高，可能由表示评估开销导致，尽管在多视图设置中光线追踪可能主导总渲染成本。HKTex 提供比 MLP、哈希编码和高分辨率顶点颜色基线更准确且感知上更忠实的反照率重建。该方法以紧凑存储达到更高质量，表明受表面约束的表示对稀疏多视图观测是有效的。

在精选 Objaverse 子集上的实验比较了 UV 纹理拟合和反照率重建质量、存储效率以及渲染开销，涉及内在、显式和神经基线。结果表明，高分辨率顶点颜色提供强纹理复现，但需要大内存，而低分辨率 UV 和基于高斯溅射的方法使用更少存储，但可能削弱保真度或引入伪影。HKTex 始终保留更锐利的纹理边界和更忠实颜色分布，以紧凑存储实现感知上忠实的重建，并表明受表面约束的表示在稀疏多视图观测下是有效的。由于表示开销，其需要更高渲染时间，尽管光线追踪可以主导总成本。