Jie-Ying Lee Yi-Ruei Liu Shr-Ruei Tsai Wei-Cheng Chang Chung-Ho Wu Jiewen Chan Zhenjun Zhao Chieh Hubert Lin Yu-Lun Liu

초록

대규모, 탐색 가능한, 기하학적으로 정확한 3D 도시 환경을 합성하는 것은 몰입형 및 몸성( embodiment ) 기반 응용을 제공하는 데 있어 도전적이지만 매우 유의미한 과제이다. 이 과제의 핵심 과제는 일반화 가능한 생성 모델 훈련을 위해 대규모且 고품질의 실세계 3D 스캔 데이터가 부족하기 때문이다. 본 논문에서는 이러한 한계를 극복하기 위해, 현실적인 거시적 기하 구조를 제공하는 쉽게 확보 가능한 위성 영상과, 고해상도 근접 시각적 표현을 생성하는 오픈 도메인 확산 모델을 융합하는 대안적 접근을 제안한다. 우리는 비용이 많이 드는 3D 레이블 없이도 도시 블록 규모의 3D 장면을 생성할 수 있는 첫 번째 프레임워크인 Skyfall-GS를 제안하며, 실시간이며 몰입형 3D 탐색 기능을 함께 제공한다. 기하학적 완전성과 사진처럼 사실적인 텍스처를 점진적으로 향상시키기 위해 커리큘럼 기반의 반복적 정제 전략을 설계하였다. 광범위한 실험을 통해 Skyfall-GS가 최신 기술 대비 더 뛰어난 다각도 일관성 있는 기하 구조와 보다 사실적인 텍스처를 제공함을 입증하였다. 프로젝트 페이지: https://skyfall-gs.jayinnn.dev/