深度户外光照估计

我们提出了一种基于卷积神经网络（CNN）的技术，用于从单张低动态范围图像中估计高动态范围的室外光照。为了训练CNN，我们利用了一个包含大量室外全景图的数据集。我们将一个低维度的物理基础室外光照模型拟合到这些全景图中的天空部分，从而获得一组紧凑的参数（包括太阳位置、大气条件和相机参数）。我们从全景图中提取有限视场角的图像，并使用这组大量的输入图像-输出光照参数对来训练CNN。给定一张测试图像，该网络可以用来推断光照参数，进而用于重建室外光照环境图。我们展示了该方法能够恢复合理的光照条件，并且能够实现从单张图像中插入虚拟物体的逼真效果。通过对全景数据集和捕获的高动态范围环境图进行广泛的评估表明，我们的技术显著优于此前解决此问题的方法。