단일화면 영상 시각적 속도계 및 깊이에 대한 순환 신경망을 활용한 (비)지도 학습

최근 딥러닝 기반의 단일 영상 깊이 추정 방법은 매우 유망한 성과를 보여주고 있다. 그러나 이러한 방법들은 인간 시각 시스템에서 깊이를 결정하는 데 있어 가장 중요한 특징 중 하나인 운동(motion)을 무시하고 있다. 본 연구에서는 순환 신경망(RNN)을 활용하고 다중 영상 재투영 및 전진-후진 흐름 일관성 손실을 이용하여 다중 시점 밀도 깊이 맵과 오도메트리 추정을 동시에 학습하는 기반의 방법을 제안한다. 제안한 모델은 지도 학습뿐만 아니라 비지도 학습 모드에서도 훈련이 가능하다. 이 모델은 입력 프레임이 시간적으로 상관관계를 가지는 영상에서 깊이 및 시각 오도메트리 추정을 위해 설계되었으며, 단일 영상 깊이 추정에도 일반화 가능하다. 제안한 방법은 KITTI 주행 데이터셋에서 단일 영상 및 다중 영상 기반 깊이 추정의 최신 기술 대비 뛰어난 성능을 보였다.