단일 뷰 비디오를 이용한 감독되지 않은 스케일 일관성 깊이 및 자기 운동 학습

최근 연구에서는 라벨링되지 않은 단일 시점 영상을 사용하여 CNN 기반의 깊이 추정기와 자기 운동 추정기를 학습할 수 있음을 보여주었습니다. 그러나 성능은 기하학적 이미지 재구성에서 기본으로 가정하는 정적 장면 가정을 위반하는 미확인 이동 물체들로 인해 제한됩니다. 더욱 중요한 점은, 적절한 제약 조건이 부족하기 때문에 네트워크는 서로 다른 샘플에 대해 스케일 불일치 결과를 출력합니다. 즉, 프레임별 스케일 모호성 때문에 자기 운동 네트워크는 긴 비디오 시퀀스에 대한 전체 카메라 궤도를 제공할 수 없습니다. 본 논문에서는 이러한 문제들을 해결하기 위해 스케일 일관성을 위한 기하학적 일관성 손실 함수와 이동 물체 및 차단을 처리하기 위한 유도된 자가 발견 마스크를 제안합니다. 우리는 최근 연구들처럼 다중 작업 학습을 활용하지 않으므로, 우리의 프레임워크는 훨씬 간단하고 효율적입니다. 포괄적인 평가 결과는 우리의 깊이 추정기가 KITTI 데이터셋에서 최고 수준의 성능을 달성함을 입증하였습니다. 또한, 우리의 자기 운동 네트워크가 긴 비디오 시퀀스에 대해 전역적으로 스케일 일관성을 갖는 카메라 궤도를 예측할 수 있으며, 그 결과로 얻어진 시각적 오도미터 정확도는 스테레오 영상으로 학습된 최근 모델과 경쟁력이 있음을 보였습니다. 우리 지식의 범위 내에서, 이는 라벨링되지 않은 단일 시점 영상을 사용하여 학습된 딥 네트워크가 긴 비디오 시퀀스에 대해 전역적으로 스케일 일관성을 갖는 카메라 궤도를 예측할 수 있다는 첫 번째 연구입니다.