Jie-Ying Lee Yi-Ruei Liu Shr-Ruei Tsai Wei-Cheng Chang Chung-Ho Wu Jiewen Chan Zhenjun Zhao Chieh Hubert Lin Yu-Lun Liu

Résumé

La synthèse de scènes 3D urbaines à grande échelle, explorenables et géométriquement précises constitue une tâche à la fois exigeante et particulièrement utile pour le développement d’applications immersives et incarnées. Les difficultés proviennent du manque de données 3D réelles à grande échelle et de haute qualité, nécessaires à l’entraînement de modèles générateurs généralisables. Dans cet article, nous adoptons une approche alternative pour créer des scènes 3D à grande échelle en combinant l’imagerie satellite largement disponible, qui fournit une géométrie réaliste de type grossier, et un modèle de diffusion à domaine ouvert, capable de générer des apparences de haute qualité à courte distance. Nous proposons Skyfall-GS, le premier cadre de génération de scènes 3D à l’échelle d’un pâté de maisons, ne nécessitant aucune annotation 3D coûteuse, tout en offrant une exploration 3D en temps réel et immersive. Nous avons conçu une stratégie itérative d’affinement guidée par un plan pédagogique afin d’améliorer progressivement la complétude géométrique et les textures photoréalistes. Des expérimentations étendues démontrent que Skyfall-GS améliore la cohérence entre les vues et produit des textures plus réalistes par rapport aux approches de pointe. Page du projet : https://skyfall-gs.jayinnn.dev/