Jie-Ying Lee Yi-Ruei Liu Shr-Ruei Tsai Wei-Cheng Chang Chung-Ho Wu Jiewen Chan Zhenjun Zhao Chieh Hubert Lin Yu-Lun Liu

摘要

构建大规模、可交互且几何精度高的三维城市场景，是实现沉浸式与具身化应用的重要挑战，同时也具有重要价值。其主要难点在于缺乏大规模、高质量的真实世界三维扫描数据，以训练具备泛化能力的生成模型。本文提出一种替代性方法，通过融合 readily available（ readily available 通常译为“ readily available”或“现成可得”）的卫星影像（提供逼真的粗略几何结构）与开放域扩散模型（用于生成高质量的局部细节外观），来构建大规模三维场景。我们提出了 Skyfall-GS，这是首个无需昂贵三维标注即可实现城市街区级三维场景生成的框架，同时支持实时、沉浸式的三维探索。我们设计了一种基于教学课程的迭代优化策略，逐步提升几何完整性与照片级真实感纹理。大量实验表明，与当前最先进方法相比，Skyfall-GS 在跨视角几何一致性以及纹理真实感方面均取得显著提升。项目主页：https://skyfall-gs.jayinnn.dev/