자기 감독형 희소-밀도: LiDAR와 단일 카메라를 이용한 자기 감독형 깊이 완성

깊이 완성(dept completion)은 희소 깊이 측정값에서 밀도 높은 깊이 이미지를 추정하는 기술로, 로봇공학과 자율주행 분야에서 다양한 응용 사례를 가지고 있습니다. 그러나 깊이 완성은 세 가지 주요 과제에 직면해 있습니다: 희소 깊이 입력의 불규칙한 배치 패턴, 색상 이미지가 제공될 때 여러 센서 모드를 처리하는 어려움, 그리고 밀도 높고 픽셀 단위의 지상 진실(ground truth) 깊이 라벨 부족입니다. 본 연구에서는 이러한 모든 과제를 해결하였습니다. 구체적으로, 우리는 희소 깊이(및 색상 이미지)에서 밀도 높은 깊이로 직접 매핑을 학습하는 딥 회귀 모델을 개발하였습니다. 또한, 밀도 높은 깊이 라벨 없이 색상 및 희소 깊이 이미지 시퀀스만으로 학습할 수 있는 자기 감독(self-supervised) 학습 프레임워크를 제안하였습니다. 실험 결과, 우리의 네트워크는 반밀도(semi-dense) 주석으로 학습되었을 때 최고 수준의 정확도를 달성하였으며, 제출 시점에서 KITTI 깊이 완성 벤치마크에서 우승한 접근 방식임을 입증하였습니다. 더욱이, 자기 감독 프레임워크는 반밀도 주석으로 학습된 기존의 여러 솔루션보다 우수한 성능을 보였습니다.