비지도 스케일 일관성 깊이 학습: 비디오로부터

우리는 단일 카메라 영상만으로 학습이 가능하며 추론 시 스케일 일관성 있는 깊이 예측을 가능하게 하는 단일 영상 깊이 추정기 SC-Depth를 제안한다. 본 연구의 주요 기여는 다음과 같다: (i) 인접한 시점 간 예측된 깊이의 일관성 부족을 제재하는 기하학적 일관성 손실 함수를 제안한다; (ii) 정적 장면 가정을 위반하고 학습 중 노이즈 신호를 유발하는 움직이는 객체를 자동으로 탐지하는 자기 발견 마스크(self-discovered mask)를 제안한다; (iii) 각 구성 요소의 유효성을 철저한 제거 실험(ablation study)을 통해 입증하고, KITTI 및 NYUv2 데이터셋에서 높은 품질의 깊이 추정 결과를 보여준다. 또한 스케일 일관성 예측 능력 덕분에, 단일 영상으로 학습된 딥 네트워크가 ORB-SLAM2 시스템에 쉽게 통합되어 보다 강건하고 정밀한 추적을 가능하게 함을 보여준다. 제안된 하이브리드 페르소-RGBD SLAM은 KITTI에서 탁월한 성능을 보이며, 추가 학습 없이도 KAIST 데이터셋에 잘 일반화됨을 확인하였다. 마지막으로, 정성적 평가를 위해 여러 사례(demos)를 제공한다.