无约束场景生成中的局部条件辐射场

我们致力于解决学习复杂、真实室内场景分布的挑战。本文提出生成场景网络（Generative Scene Networks, GSN），该模型能够将场景分解为多个局部辐射场的集合，支持从自由移动的相机视角进行渲染。该模型可作为先验知识，用于生成全新场景，或在仅有稀疏二维观测的情况下完成场景重建。近期研究表明，辐射场的生成模型能够捕捉多视角一致性与视角依赖性光照等重要属性。然而，这些模型通常仅适用于受限视角下的单个物体（如汽车或人脸）重建。由于真实室内环境在规模和复杂性上的巨大挑战，现有模型在表征能力上难以充分刻画此类场景。我们的分解策略能够有效扩展至更大、更复杂的场景，同时保留丰富的细节与多样性；所学习到的先验知识使得从与观测视角显著不同的新视角进行高质量渲染成为可能。在多个不同场景数据集上的对比实验表明，GSN在定量指标上均优于现有模型，生成的场景渲染质量更高。