HMS-Net: 계층적 다중 스케일 희소성 불변 네트워크를 이용한 희소 깊이 완성

밀도 높은 깊이 정보는 다양한 컴퓨터 비전 작업에서 중요한 역할을 하며 광범위한 응용 분야를 가지고 있습니다. 자율 주행 차량에서는 LIDAR 센서가 차량 주변의 환경을 인식하기 위해 깊이 측정 값을 수집하는 데 사용됩니다. 그러나 LIDAR의 하드웨어 제한으로 인해 얻어진 깊이 맵은 일반적으로 희소합니다. 이러한 문제를 해결하기 위해, 희소 입력과 희소 특징 맵을 처리할 수 있는 다중 스케일 인코더-디코더 네트워크(HMS-Net)와 함께 세 가지 새로운 희소성 불변 연산을 제안합니다. 또한 RGB 특징을 통합하여 깊이 완성 성능을 더욱 개선할 수 있습니다. 우리는 KITTI 깊이 완성 벤치마크와 NYU-depth-v2 데이터셋 두 가지 공개 벤치마크에서 수행한 광범위한 실험과 구성 요소 분석을 통해 제안된 접근 방식의 효과성을 입증하였습니다. 2018년 8월 12일 기준 KITTI 깊이 완성 리더보드에서, 제안된 모델은 RGB 정보를 사용하지 않는 모든 동료 심사 방법 중에서 1위를 차지하였으며, RGB 지도를 사용하는 모델은 모든 RGB-지도 방법 중에서 2위를 차지하였습니다.