Command Palette
Search for a command to run...
从图像中提取三角形三维模型、材质和光照
从图像中提取三角形三维模型、材质和光照
Jacob Munkberg Jon Hasselgren Tianchang Shen Jun Gao Wenzheng Chen Alex Evans Thomas Müller Sanja Fidler
摘要
我们提出了一种从多视角图像观测中联合优化拓扑结构、材料和光照的有效方法。与最近的多视角重建方法不同,后者通常生成编码在神经网络中的纠缠3D表示,我们的方法输出的是带有空间变化材料和环境光照的三角网格模型,可以直接部署在任何传统图形引擎中而无需修改。我们利用了可微渲染领域的最新进展,以及基于坐标的网络来紧凑地表示体纹理,并通过可微四面体行进算法实现了直接在表面网格上进行梯度优化。最后,我们引入了一种环境光照分裂求和近似的可微公式,以高效地恢复全频段光照。实验表明,我们提取的模型可用于高级场景编辑、材料分解和高质量视图插值,并且在基于三角形的渲染器(光栅化器和路径追踪器)中均能以交互速率运行。项目网站:https://nvlabs.github.io/nvdiffrec/ 。