DiPE: 단일 영상에서 깊이 및 자가운동의 비지도 학습을 위한 광도 오차 깊이 탐구

최근 몇 년간, 레이블이 없는 단안 영상에서 깊이(depth)와 자기 운동(ego-motion)을 비지도 학습하는 기법이 큰 주목을 받고 있다. 이 방법은 지도 학습에서 사용하는 고가의 진실값(ground truth)을 요구하지 않으며, 목표 시점(target view)과 인접한 소스 시점(source views)에서 합성된 시점들 사이의 광학적 오차(photometric errors)를 손실 함수(loss)로 활용함으로써 학습을 수행한다. 비록 상당한 발전이 있었지만, 여전히 가림 현상(occlusion)과 장면의 동적 변화(scene dynamics)으로 인한 문제에 취약하다. 본 논문은 광학적 오차를 철저히 조작함으로써 이러한 어려움을 더 효과적으로 해결할 수 있음을 보여준다. 주요 개선점은 광학적 오차 맵 내에서 보이지 않거나 정지하지 않은(비정상적인, nonstationary) 픽셀을 통계적 기법을 통해 마스킹할 수 있는 기술을 도입한 것이다. 이를 통해 오류 정보가 네트워크를 오도하는 것을 방지할 수 있으며, 카메라와 반대 방향으로 움직이는 물체의 깊이를 더 정확하게 추정할 수 있게 된다. 우리가 알고 있는 한, 이와 같은 시나리오는 이전 연구들에서 충분히 고려되지 않았으며, 자율주행과 같은 응용 분야에서는 더 높은 위험을 초래할 수 있다. 또한, 예측된 깊이 맵의 아티팩트를 줄이기 위해 효율적인 가중치를 적용한 다중 해상도(multi-scale) 기법을 제안한다. KITTI 데이터셋에서 실시한 광범위한 실험 결과, 제안된 방법들이 효과적임을 입증하였다. 종합적으로, 본 시스템은 깊이 추정과 자기 운동 추정 모두에서 최신 기술 수준의 성능을 달성하였다.