Sat2Density: 위성-지상 이미지 쌍으로부터 충실한 밀도 학습

본 논문은 위성-지상 이미지 쌍을 사용하여 위성 이미지의 정확한 3D 기하학적 표현을 개발하는 것을 목표로 합니다. 특히, 위성 이미지에서 3D 인식 지상 뷰를 합성하는 어려운 문제에 초점을 맞추고 있습니다. 우리는 볼륨 뉴럴 렌더링에서 사용되는 밀도 필드 표현에서 영감을 받아, 새로운 접근 방식인 Sat2Density를 제안합니다. 본 방법은 지상 뷰 파노라마의 하늘과 비하늘 영역의 특성을 활용하여 기하학적 관점에서 3D 장면의 신뢰할 수 있는 밀도 필드를 학습합니다. 다른 방법들이 훈련 중 추가적인 깊이 정보를 필요로 하는 것과 달리, 우리의 Sat2Density는 깊이 감독 없이 밀도 표현을 통해 자동으로 정확하고 신뢰할 수 있는 3D 기하학을 학습할 수 있습니다. 이 발전은 지상 뷰 파노라마 합성 작업을 크게 개선하였습니다. 또한, 본 연구는 위성 이미지와 지상 뷰 이미지 간의 3D 공간에서의 관계를 이해하는 새로운 기하학적 관점을 제공합니다.