비감독 내부 환경 깊이 추정을 위한 오토-리크티파이 네트워크

라벨이 없는 비디오에서 학습된 CNN을 활용한 단일 시점 깊이 추정 기법은 큰 잠재력을 보여주고 있다. 그러나 우수한 성능은 주로 도로 주행 시나리오와 같은 특정 환경에서만 달성되었으며, 특히 휴대기기로 촬영한 실내 영상과 같은 다른 환경에서는 종종 실패한다. 본 연구에서는 휴대기기 환경에서 나타나는 복잡한 자기 운동(ego-motion)이 깊이 학습에 있어 핵심적인 장애물임을 규명한다. 우리의 기초 분석에 따르면, 학습 과정에서 회전은 노이즈로 작용하는 반면, 이동(기준 거리, baseline)은 감독 신호를 제공한다는 점에서 상반된 역할을 한다. 이를 해결하기 위해, 훈련 이미지의 상대적 회전을 제거함으로써 효과적인 학습을 가능하게 하는 데이터 사전 처리 기법을 제안한다. 성능의 현저한 향상은 본 연구의 동기 부여가 타당함을 입증한다. 사전 처리 없이 종단 간(end-to-end) 학습을 가능하게 하기 위해, 새로운 손실 함수를 갖춘 자동 보정 네트워크(Auto-Rectify Network)를 제안한다. 이 네트워크는 학습 과정 중에 이미지를 자동으로 보정하는 능력을 학습할 수 있다. 그 결과, 도전적인 NYUv2 데이터셋에서 기존 비지도 최상위(SOTA) 방법보다 큰 성능 향상을 달성하였다. 또한, 학습된 모델이 ScanNet과 Make3D 데이터셋에서의 일반화 능력을 입증하였으며, 7-Scenes 및 KITTI 데이터셋에서 제안한 학습 방법의 보편성도 확인하였다.