Jie-Ying Lee Yi-Ruei Liu Shr-Ruei Tsai Wei-Cheng Chang Chung-Ho Wu Jiewen Chan Zhenjun Zhao Chieh Hubert Lin Yu-Lun Liu

Abstract

Die Synthese großer, explorierbarer und geometrisch genauer 3D-Stadtszenen ist eine anspruchsvolle, dennoch wertvolle Aufgabe für die Entwicklung immersiver und körpererfahrender Anwendungen. Die zentralen Herausforderungen ergeben sich aus dem Mangel an großskaligen, hochwertigen realen 3D-Scans, die für die Trainierung generalisierbarer generativer Modelle erforderlich wären. In diesem Paper verfolgen wir einen alternativen Ansatz, um großskalige 3D-Szenen zu erstellen, indem wir die leicht verfügbare Satellitenbilddaten, die realistische, grobe Geometrie liefern, mit einem offenen Domänen-Diffusionsmodell zur Erzeugung hochwertiger, detaillierter Oberflächenmerkmale kombinieren. Wir stellen Skyfall-GS vor, den ersten Framework zur Erstellung von 3D-Szenen im Maßstab von Stadtvierteln, der auf teure 3D-Anmerkungen verzichtet und zudem Echtzeit- und immersives 3D-Explorationsvermögen bietet. Wir entwickeln eine kurrikulumbasierte, iterativ verfeinerte Strategie, um die geometrische Vollständigkeit und photorealistische Texturierung schrittweise zu verbessern. Umfangreiche Experimente zeigen, dass Skyfall-GS im Vergleich zu aktuellen Spitzenverfahren eine verbesserte geometrische Konsistenz über verschiedene Ansichten hinweg und realistischere Texturen liefert. Projektseite: https://skyfall-gs.jayinnn.dev/