단일 뷰 깊이 및 표면 법선 추정을 위한 자기 감독 학습

본 연구에서는 단일 이미지에서 깊이와 표면 법선을 동시에 예측하기 위해 두 개의 합성곱 신경망(CNNs)을 자가 감독 학습 프레임워크를 통해 동시에 훈련시키는 방법을 제시합니다. 대부분의 기존 프레임워크가 실외 장면을 조각별로 매끄러운 깊이의 정면 평면으로 표현하는 것과 달리, 우리는 자연 장면이 조각별로 매끄러운 법선을 가진다고 가정하면서 깊이와 표면 방향을 동시에 예측하는 방법을 제안합니다. 우리는 단순한 깊이-법선 일관성을 예측에 대한 부드러운 제약 조건으로 사용할 때, 이 두 네트워크를 동시에 훈련시키기에 충분하고 효과적임을 보여줍니다. 훈련된 법선 네트워크는 최신 수준의 예측 결과를 제공하며, 실제적인 매끄러운 법선 가정에 의존하는 깊이 네트워크는 KITTI 벤치마크에서 전통적인 자가 감독 깊이 예측 네트워크보다 크게 우수한 성능을 보입니다. 데모 비디오: https://youtu.be/ZD-ZRsw7hdM