RGB 안내 및 불확실성 하의 희소하고 노이즈가 많은 LiDAR 완성

본 연구는 RGB 이미지를 활용하여 희소 LiDAR 지도를 정확하게 완성하는 새로운 방법을 제안합니다. 자율 주행 차량과 로봇공학에서 정밀한 깊이 예측을 달성하기 위해 LiDAR의 사용은 필수적입니다. 다양한 응용 프로그램들이 주변 환경 인식에 의존하며, 깊이 정보를 바탕으로 판단하고 반응합니다. 한편, 단일 카메라 기반의 단안 깊이 예측 방법은 절대적이고 정밀한 깊이 지도 생성에 실패합니다. 다른 한편으로, 입체 시스템 접근법은 여전히 LiDAR 기반 접근법에 크게 뒤처져 있습니다. 깊이 완성 작업의 목표는 2D 평면에 매핑된 희소하고 불규칙한 포인트 클라우드에서 밀집된 깊이 예측을 생성하는 것입니다. 우리는 전역 및 국부 정보를 추출하여 적절한 깊이 지도를 생성하는 새로운 프레임워크를 제안합니다. 우리는 간단한 깊이 완성이 깊은 신경망을 필요로 하지 않는다고 주장하지만, 단안 카메라로부터 RGB 가이던스를 활용하여 객체 정보를 활용하고 희소 입력에서 발생하는 오류를 수정하기 위한 융합 방법을 추가로 제안합니다. 이는 정확도를 크게 향상시킵니다. 또한, 각 모달리티에서 얻어진 깊이 예측의 불확실성을 고려하기 위해 신뢰도 마스크가 활용됩니다. 이 융합 방법은 최신 기술보다 우수하며 KITTI 깊이 완성 벤치마크에서 1위를 차지했습니다. 우리의 코드와 시각화 결과는 공개되어 있습니다.