초록
카메라 운동과 시각-관성 오도메트리 시스템을 사용하여 추정된 희소 깊이에서 밀집 깊이를 추론하는 방법을 설명합니다. 라이다 또는 구조화된 광 센서에서 얻은 포인트 클라우드를 사용하는 다른 시나리오와 달리, 우리는 수백 개에서 수천 개의 포인트만을 가지고 있어 장면의 위상을 파악하기에 충분하지 않습니다. 우리의 방법은 먼저 장면의 단편적 평면 구조물을 구성한 후, 이를 이미지와 함께 희소 포인트를 사용하여 밀집 깊이를 추론합니다. 우리는 시간 간의 광학 일관성, 전방-후방 자세 일관성, 그리고 희소 포인트 클라우드와의 기하학적 호환성을 측정하는 '셀프-감독'과 유사한 예측적 다중 모달 기준을 사용합니다. 또한, 시각-관성 + 깊이 데이터셋을 처음으로 공개하며, 이는 시각 센서와 관성 센서의 보완적인 강점을 결합하는 추가 연구를 촉진하기를 바랍니다. 기존 연구와 비교하기 위해, 비지도 KITTI 깊이 완성 벤치마크를 채택하였으며, 이 벤치마크에서 최신 성능을 보임을 입증하였습니다. 코드는 다음 주소에서 확인할 수 있습니다: https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry.