9 天前

HDR-GS:通过高斯点阵实现1000倍加速的高效高动态范围新视角合成

Yuanhao Cai, Zihao Xiao, Yixun Liang, Yulun Zhang, Xiaokang Yang, Yaoyao Liu, Alan Yuille
HDR-GS:通过高斯点阵实现1000倍加速的高效高动态范围新视角合成
摘要

高动态范围(HDR)新视角合成(Novel View Synthesis, NVS)旨在利用HDR成像技术从新视角生成逼真的图像。渲染得到的HDR图像能够捕捉更广泛的亮度范围,相较于传统的低动态范围(LDR)图像,可呈现更多场景细节。现有的HDR NVS方法主要基于NeRF(神经辐射场)框架,但普遍存在训练时间长、推理速度慢的问题。本文提出一种新型框架——高动态范围高斯点云渲染(High Dynamic Range Gaussian Splatting, HDR-GS),能够高效生成新视角的HDR图像,并可根据用户输入的曝光时间重建LDR图像。具体而言,我们设计了一种双动态范围(Dual Dynamic Range, DDR)高斯点云模型:该模型采用球谐函数(spherical harmonics)拟合HDR颜色信息,并引入基于多层感知机(MLP)的色调映射器(tone-mapper)以生成LDR颜色。随后,HDR与LDR颜色分别输入两个并行的可微分光栅化(Parallel Differentiable Rasterization, PDR)流程,实现HDR与LDR视图的重建。为推动基于3D高斯点云方法在HDR NVS领域的研究,我们重新校准了相机参数,并计算了高斯点云的初始位置。实验结果表明,相较于当前最先进的基于NeRF的方法,我们的HDR-GS在LDR和HDR新视角合成任务上分别提升了3.84 dB和1.91 dB的峰值信噪比(PSNR),同时推理速度提升1000倍,训练时间仅需其6.3%。

HDR-GS:通过高斯点阵实现1000倍加速的高效高动态范围新视角合成 | 最新论文 | HyperAI超神经