基于神经网络的形状、材质和光照重建（Neural-PBIR）

根据物理世界对象的2D图像（例如照片）重建其形状和空间变化的表面外观以及周围光照环境一直是计算机视觉和图形学领域的一个长期问题。在本文中，我们介绍了一种结合基于神经网络的对象重建和基于物理的逆向渲染（Physics-Based Inverse Rendering, PBIR）的准确且高效的对象重建流程。我们的流程首先利用基于神经符号距离函数（Neural Signed Distance Function, SDF）的形状重建方法生成高质量但可能不完美的对象形状。然后，我们引入了一个神经材料和光照提取阶段，以实现材料和光照的高质量预测。最后，在由神经预测初始化的基础上，我们执行PBIR来优化初始结果，从而获得最终高质量的对象形状、材料和光照重建。实验结果表明，我们的流程在质量和性能方面显著优于现有方法。