스테레오 학습, 모노 추론: 자기 지도형, 단일 카메라, 깊이 추정을 위한 시아메즈 네트워크

최근 몇 년 동안 단일 카메라 자가 감독 깊이 추정 분야에서 큰 발전이 이루어졌습니다. 대부분의 방법은 학습 과정에서 스테레오 데이터를 사용한다고 가정하지만, 일반적으로 이를 충분히 활용하지 않고 참조 신호로만 취급합니다. 우리는 학습 시 왼쪽과 오른쪽 이미지를 동등하게 사용하면서도 테스트 시에는 단일 입력 이미지로 단일 카메라 깊이 추정을 수행할 수 있는 새로운 자가 감독 접근법을 제안합니다. 우리의 시아미즈 네트워크 구조는 두 개의 쌍둥이 네트워크로 구성되며, 각각은 단일 이미지에서 불일치 맵(disparity map)을 예측하도록 학습됩니다. 그러나 테스트 시에는 이 중 하나의 네트워크만 사용하여 깊이를 추론합니다. 우리는 표준 KITTI Eigen 분할 벤치마크와 새로운 KITTI 단일 뷰 벤치마크에서 가장 높은 점수를 기록한 자가 감독 방법으로 최고 수준의 결과를 보여줍니다. 또한 우리의 방법이 새로운 데이터 세트에 일반화될 수 있는 능력을 입증하기 위해, 학습 과정에서 사용되지 않은 Make3D 벤치마크에서도 결과를 제공합니다.