Jie-Ying Lee Yi-Ruei Liu Shr-Ruei Tsai Wei-Cheng Chang Chung-Ho Wu Jiewen Chan Zhenjun Zhao Chieh Hubert Lin Yu-Lun Liu

要約

大規模で探査可能かつ幾何学的に正確な3D都市シーンの合成は、没入型で身体的体験を提供する応用において、挑戦的ではあるが極めて価値のあるタスクである。この課題の本質は、汎用的な生成モデルの学習に用いることのできる大規模かつ高品質な実世界3Dスキャンデータの不足にあり、その点が大きな障壁となっている。本論文では、この課題に対して代替的なアプローチを提示する。具体的には、現実的な粗い幾何形状を提供する容易に入手可能な衛星画像と、高品質な近接視点の外観を生成するオープンドメインの拡散モデルを有効に統合することで、大規模な3Dシーンの構築を実現する。本研究では、高価な3Dアノテーションを必要とせず、市街区規模の3Dシーンを生成可能な、世界初のフレームワーク「Skyfall-GS」を提案する。また、リアルタイムかつ没入型の3D探索を可能にする機能も備えている。幾何学的完全性と写実的なテクスチャの質を段階的に向上させるため、カリキュラム駆動型の反復的最適化戦略を採用している。広範な実験の結果、従来の最先端手法と比較して、Skyfall-GSはより優れた視点間一貫性を有する幾何形状と、より現実的なテクスチャを提供することが示された。プロジェクトページ：https://skyfall-gs.jayinnn.dev/