NeRFactor：在未知光照条件下对形状和反射率的神经分解

我们研究了在未知光照条件下从多视角图像（及其相机姿态）中恢复物体形状和空间变化反射率的问题。这使得在任意环境光照下渲染物体的新视图并编辑其材料属性成为可能。我们的方法称为神经辐射分解（NeRFactor），其核心在于将神经辐射场（NeRF）[Mildenhall等人，2020]表示的物体体积几何提炼为表面表示，然后同时优化几何结构并求解空间变化反射率和环境光照。具体而言，NeRFactor无需任何监督即可恢复表面法线、光可见性、反照率和双向反射分布函数（BRDFs）的3D神经场，仅使用重渲染损失、简单的平滑先验以及从真实世界BRDF测量数据中学习到的数据驱动BRDF先验。通过显式建模光可见性，NeRFactor能够将阴影与反照率分离，并在任意光照条件下合成逼真的软阴影或硬阴影。NeRFactor能够在这种具有挑战性和欠约束的捕获设置下，为合成场景和真实场景恢复令人信服的3D模型以实现自由视角重照明。定性和定量实验表明，NeRFactor在各种任务中均优于经典方法和基于深度学习的最新技术。我们的视频、代码和数据可在以下网址获取：people.csail.mit.edu/xiuming/projects/nerfactor/。