자기지도 단안 깊이 힌트

단안 깊이 추정기( monocular depth estimators)는 고해상도 레이저 스캔이나 기타 지상 진실(ground-truth) 데이터가 필요 없도록 이중화상 스테레오(stereo) 데이터를 활용한 다양한 형태의 자기지도 학습(self-supervision)을 통해 훈련될 수 있다. 그러나 이 방법의 단점은 자기지도 학습과 함께 사용되는 광학적 재투영 오차(photometric reprojection losses)가 일반적으로 다수의 국소 최소값(local minima)을 가진다는 점이다. 이러한 지상 진실에 대한 타당해 보이는 대안들은 회귀 네트워크가 학습할 수 있는 범위를 제한하여, 제한된 품질의 깊이 맵을 예측하게 만든다. 대표적인 사례로, 현재 최첨단 기법들은 얇은 구조물 주변의 깊이 불연속성(depth discontinuities)을 자주 잘못 추정한다.본 연구에서는 스테레오 기반 자기지도 학습에서의 모호한 재투영 문제를 탐구하고, 이를 완화하기 위해 '깊이 힌트( Depth Hints)'를 제안한다. 깊이 힌트는 간단한 상용 스테레오 알고리즘을 통해 얻어지는 보완적인 깊이 제안이다. 이 힌트들은 기존의 광학적 손실 함수를 강화하며, 네트워크가 더 나은 가중치를 학습하도록 안내한다. 깊이 힌트는 추가 데이터가 필요 없으며, 항상 정확하다고 가정하지 않는다. 다만 일부 경우에만 정확하다고 가정한다. 본 연구에서는 다양한 최첨단 스테레오 기반 자기지도 학습 모델에 깊이 힌트를 적용했을 때, 단순히 우리 모델에 국한되지 않고 상당한 성능 향상을 얻을 수 있음을 보여준다. 또한 다른 우수한 학습 전략들과 결합하면, KITTI 벤치마크에서 최고 수준의 깊이 예측 성능을 달성할 수 있다.