HyperAIHyperAI

Command Palette

Search for a command to run...

从图像中提取三角形三维模型、材质和光照

Jacob Munkberg Jon Hasselgren Tianchang Shen Jun Gao Wenzheng Chen Alex Evans Thomas Müller Sanja Fidler

摘要

我们提出了一种从多视角图像观测中联合优化拓扑结构、材料和光照的有效方法。与最近的多视角重建方法不同,后者通常生成编码在神经网络中的纠缠3D表示,我们的方法输出的是带有空间变化材料和环境光照的三角网格模型,可以直接部署在任何传统图形引擎中而无需修改。我们利用了可微渲染领域的最新进展,以及基于坐标的网络来紧凑地表示体纹理,并通过可微四面体行进算法实现了直接在表面网格上进行梯度优化。最后,我们引入了一种环境光照分裂求和近似的可微公式,以高效地恢复全频段光照。实验表明,我们提取的模型可用于高级场景编辑、材料分解和高质量视图插值,并且在基于三角形的渲染器(光栅化器和路径追踪器)中均能以交互速率运行。项目网站:https://nvlabs.github.io/nvdiffrec/


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供