Plan2Scene：将平面图转换为3D场景

我们致力于将住宅的平面图及其相关照片转换为带有纹理的3D网格模型，这一任务被称为Plan2Scene。我们的系统实现了以下三个目标：1）将平面图图像提升为3D网格模型；2）根据输入的照片合成表面纹理；3）利用图神经网络架构推断未观察到的表面纹理。为了训练和评估我们的系统，我们创建了室内表面纹理数据集，并对先前工作中收集的平面图和照片数据集进行了扩充，增加了校正后的表面裁剪和额外注释。我们的方法能够应对从稀疏且未对齐的部分覆盖住宅照片中生成可平铺的主要表面（如地板、墙壁和天花板）纹理的挑战。定性和定量评估表明，我们的系统能够生成逼真的3D室内模型，在一系列纹理质量指标上优于基线方法，并在综合用户研究中表现出色。