Sparse LiDAR를 활용한 자기지도 학습 단안 깊이 학습의 발전

자기지도형 단안 깊이 예측은 각 픽셀의 3D 위치를 얻는 데 비용 효율적인 해결책을 제공한다. 그러나 기존의 접근 방식은 자율 로봇에 있어 핵심적인 정확도 측면에서 만족스럽지 못한 성능을 보인다. 본 논문에서는 저비용의 희소(예: 4빔) LiDAR를 활용하여 자기지도형 단안 밀도 깊이 학습을 개선하는 새로운 이단계 네트워크인 FusionDepth를 제안한다. 기존 방법들이 희소 LiDAR를 주로 시간이 많이 소요되는 반복적 후처리 방식으로 사용하는 것과 달리, 본 모델은 단안 이미지 특징과 희소 LiDAR 특징을 융합하여 초기 깊이 맵을 예측한다. 이후, 실제 시간 내에 작동하는 효율적인 전방향 정제 네트워크를 설계하여 초기 깊이 맵의 오차를 가상의 3D 공간에서 보정한다. 광범위한 실험 결과, 제안하는 모델은 자기지도형 단안 깊이 예측 및 완성 작업 모두에서 최신의 자기지도형 방법들과 희소 LiDAR 기반 방법들을 모두 크게 능가함을 보였다. 정확한 밀도 깊이 예측을 바탕으로, KITTI 리더보드에서 단안 3D 객체 탐지라는 후속 작업에서 기존 최고 수준의 희소 LiDAR 기반 방법(Pseudo-LiDAR++)보다 68% 이상 우수한 성능을 달성하였다. 코드는 다음 주소에서 제공된다: https://github.com/AutoAILab/FusionDepth