一句话总结

来自多伦多大学、向量研究所和卡内基梅隆大学的研究人员提出了首个基于物理的神经逆渲染系统，用于多视角光传播视频，通过时间分辨神经辐射缓存扩展来捕获直接和间接光传输，从而从闪光激光雷达测量中实现最先进的$3\text{D}$3D重建、视图合成、直接/间接分解以及多视角时间分辨重光照。

核心贡献

• 论文引入了时间分辨神经辐射缓存的扩展，用缓存查找替代渲染方程的递归评估，从而能够对多视角光传播视频进行基于物理的逆渲染。
• 该方法捕获直接和间接光传输，应用于捕获的闪光激光雷达测量时，在强间接光场景中实现了最先进的3D重建精度。
• 该方法实现了新功能，包括光传播的视图合成、将捕获的测量自动分解为直接和间接分量，以及对捕获场景的多视角时间分辨重光照。

引言

激光雷达等超快成像系统用短光脉冲照亮场景，并测量后向散射的回波来重建3D几何，使其成为自动驾驶、增强现实和遥感的核心技术。然而，传统激光雷达流程只保留直接光传输（光反射一次回到传感器），并丢弃多次散射的间接光，因为建模它需要昂贵的递归逆渲染。先前的多视角激光雷达重建方法要么基于点云，要么基于仅直接的瞬态信号，而现有的针对光传播的神经辐射场（NeRF）方法无法恢复精确几何或在新颖光照下重新渲染场景，因为它们缺乏基于物理的模型。可微路径追踪能处理间接光，但在捕获的多视角实验中计算上昂贵且对噪声和初始化敏感。

作者提出了一种神经逆渲染方法，从闪光激光雷达系统获取多视角、时间分辨测量，并重建直接和间接光传输。他们使用体渲染获取几何，并采用基于物理的外观模型，由时间分辨辐射缓存支持，该缓存储存在任意点任意方向入射的辐射，避免递归积分渲染方程。他们还捕获了一个新的标定多视角闪光激光雷达测量数据集，并展示了在强间接光下的最先进几何重建，以及从新颖视角和在新颖光照条件下渲染光传播的能力。

数据集

数据集构成与来源

作者构建了两个不同的评估数据集来验证其方法：模拟数据集和捕获数据集。

模拟数据集

• 使用修改过的Mitsuba 2渲染器生成多视角瞬态数据。
• 包含三个小规模、以物体为中心的合成场景：Cornell box、pots和peppers。
• 包含一个房间级场景：kitchen。
• 模拟数据用于与两个基线比较：T-NeRF（仅建模直接光）和FWP++（建模直接和间接辐射，但缺乏物理准确的渲染模型）。

捕获数据集

• 使用与Malik等人类似的硬件设置构建，捕获多视角闪光激光雷达数据。
• 关键区别：光源随相机视点移动，而不是相对于场景保持静止。
• 作者捕获了三个场景：globe、house和spheres。
• 还包括Malik等人的statue场景，以证明该方法能在必要时处理静止光源。
• 补充材料提供了额外的捕获和标定细节。

数据使用方式

• 对于模拟实验，作者集成来自新颖视点的激光雷达扫描，恢复表面法线，并渲染单个激光雷达帧。
• 对于捕获实验，作者对激光雷达测量进行新颖视图合成，并在表1中报告定量结果。
• 在捕获实验中，深度和法线指标被省略，因为没有可用的真实参考。

数据使用的关键发现

• T-NeRF在强间接光的模拟场景中失败，产生漂浮伪影和不准确的新颖视图。
• FWP++恢复更准确的结果，但通过使用场景的镜像副本或错误深度来过度拟合镜面反射和漫反射互相反射。
• 在捕获数据中，FWP++在视图合成上略有改善，可能因为它使用约束较少的模型，而作者的基于物理的方法对标定误差和模型失配更敏感。

方法

作者提出了一种建模和反转时间分辨光传输的方法，结合基于物理的渲染器和神经辐射缓存，从闪光激光雷达测量中恢复场景几何和材质属性。如下框架图所示：

渲染流程首先从激光雷达传感器向场景投射一条主射线。对于沿该射线的每个点，出射辐射使用考虑飞行时间$\tau$τ的时间分辨渲染方程计算。入射辐射分解为直接分量（代表直接从脉冲光源传播的光）和间接分量（使用辐射缓存评估，以避免递归评估的指数计算成本）。最终的激光雷达测量通过沿主射线对出射辐射进行体渲染获得。

为了高效建模间接光照，方法采用由神经网络参数化的时间分辨辐射缓存。该缓存利用多分辨率哈希编码学习位置相关的外观特征和用于场景几何的密度。缓存区分直接和间接出射辐射。直接分量使用神经网络学习BRDF，而间接分量采用分离和近似。该近似将积分分成积分BRDF和积分入射辐射，两者由基于光源位置条件化的独立神经网络预测。从主射线上的点投射的次级射线沿线的体渲染产生缓存的入射辐射。

系统通过逆渲染优化，最小化渲染入射辐射与捕获激光雷达测量之间的差异。损失函数包含加权光度项，应用类似色调映射的权重，在暗区域对误差惩罚更重。此外，辐射先验确保辐射缓存与完整基于物理模型在直接和间接分量上的一致性。进一步的正则化将预测的法线与解析密度梯度关联，并强制几何和材质参数的光滑性。

实验

实验评估系统在瞬态和集成激光雷达测量的视图合成以及几何重建上的性能，与T-NeRF和FWP++基线在模拟和捕获场景上比较。T-NeRF因仅直接模型在间接光下失败，FWP++捕获间接辐射但使用镜像副本或错误深度过度拟合。基于物理的方法恢复更精确的几何，尤其是在间接光主导的区域，不过在捕获数据上FWP++在视图合成上略有优势，可能因为其模型约束较少且对标定敏感。附加结果展示了从新光源重光照、从CW-ToF或仅强度监督训练，以及材质参数的恢复。

在模拟数据上，所提方法实现了最佳的几何恢复，具有最低的法线MAE和深度L1误差，以及最高的瞬态IOU。在捕获数据上，其在视图合成上与FWP++基线相当，但PSNR略低，可能归因于其更物理约束的模型。所提方法和FWP++在所有指标上均大幅优于T-NeRF，无论是在模拟还是真实场景上。在模拟场景中，所提方法恢复法线和深度的误差远低于两个基线，并实现最高的瞬态IOU。所提方法和FWP++在捕获数据上的视图合成质量相似，而T-NeRF在所有指标上远远落后。在捕获场景中，FWP++在PSNR上略有优势，但两者的LPIPS和SSIM几乎相同。

实验在模拟和捕获场景上评估几何恢复和视图合成，比较所提方法与FWP++和T-NeRF。在模拟数据上，所提方法实现了最低的法线和深度误差以及最高的瞬态IOU，优于两个基线。在捕获数据上，其视图合成质量与FWP++相当，LPIPS和SSIM几乎相同，但FWP++在PSNR上略有优势；两者在所有指标上均大幅超越T-NeRF。