LIRM：用于形状、材料和视图相关辐射场的渐进重建的大型逆渲染模型

我们提出了大型逆渲染模型 (LIRM)，这是一种 Transformer 架构，能够在不到一秒的时间内联合重建高质量的形状、材质和辐射场，并实现视图相关效果。我们的模型建立在近期的大型重建模型 (LRM) 之上，这些模型实现了最先进的稀疏视图重建质量。然而，现有的 LRM 难以准确地重建不可见部分，无法恢复光泽外观或生成可供标准图形引擎使用的可重新点亮的 3D 内容。为了突破这些限制，我们做出了三项关键技术贡献，以构建更实用的多视图 3D 重建框架。首先，我们引入了一个更新模型，允许我们逐步添加更多输入视图来改进重建效果。其次，我们提出了一种六平面神经 SDF 表示，以更好地恢复细节纹理、几何形状和材质参数。第三，我们开发了一种新颖的神经方向嵌入机制来处理视图相关效果。通过采用定制的由粗到精的训练方案，在大规模形状和材质数据集上进行训练，我们的模型取得了令人瞩目的效果。它在几何和重新照明精度方面与基于优化的密集视图逆渲染方法相比具有优势，同时只需要一小部分推理时间。