비디오에서 깊이와 이고-모션의 비지도 학습

우리는 비정형 비디오 시퀀스에서 단일 카메라 깊이와 카메라 운동 추정을 위한 비지도 학습 프레임워크를 제시합니다. 우리는 뷰 합성 작업을 감독 신호로 사용하여 깊이 추정 네트워크와 카메라 포즈 추정 네트워크를 동시에 훈련시키는 방법으로 이를 달성합니다. 따라서 훈련 중에는 뷰 합성 목표를 통해 두 네트워크가 결합되지만, 테스트 시에는 독립적으로 적용될 수 있습니다. KITTI 데이터셋에 대한 경험적 평가는 우리 접근 방식의 효과성을 입증합니다: 1) 단일 카메라 깊이 추정이 지도 학습 방법(훈련 시 실제 포즈 또는 깊이를 사용)과 유사한 성능을 보이고, 2) 포즈 추정이 유사한 입력 설정 하에서 확립된 SLAM 시스템보다 우수한 성능을 나타냅니다.