초록
이 연구에서는 이미지와 희소 깊이 측정값을 기반으로 밀도 높은 깊이 맵을 추론하는 방법을 제안한다. 이 방법은 합성 데이터를 활용하여 희소 포인트 클라우드와 밀도 높은 자연 형태 간의 관계를 학습하고, 이미지를 증거로 하여 예측된 깊이 맵의 타당성을 검증한다. 본 연구에서 학습된 자연 형태에 대한 사전 지식은 이미지가 아닌 희소 깊이만을 입력으로 사용하므로, 합성 데이터에서 학습한 모델을 실제 데이터로 전이할 때 발생하는 공분산 이동(covariate shift)의 영향을 받지 않는다. 이로 인해, 정확한 토폴로지 추정이라는 재구성 과정에서 가장 어려운 부분을 지도 데이터가 풍부한 합성 데이터를 통해 학습할 수 있으며, 이미지를 활용하여 광학적 증거에 기반한 예측을 정교화할 수 있다. 제안하는 방법은 기존 방법보다 적은 파라미터를 사용하면서도 실내 및 실외 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다. 코드는 다음 링크에서 제공된다: https://github.com/alexklwong/learning-topology-synthetic-data.