CNN을 이용한 희소 데이터와 밀도 데이터: 깊이 완성 및 의미 분할

컨벌루션 신경망은 밀도가 높은 데이터를 위해 설계되었지만, 시각 데이터는 종종 희소합니다(스테레오 깊이, 포인트 클라우드, 펜 스트로크 등). 본 연구에서는 선택적으로 밀도가 높은 RGB 데이터와 함께 희소 깊이 데이터를 처리하는 방법을 제시하며, 마지막 층만 변경하여 깊이 완성과 의미 분할을 수행합니다. 제안된 방법은 별도의 유효성 마스크 없이 효율적으로 희소 특성을 학습할 수 있습니다. 입력 데이터의 다양한 희소성에 대한 네트워크의 견고성을 보장하는 방법을 설명합니다. 제안된 방법은 0.8%의 낮은 밀도(8층 LiDAR)에서도 작동하며, Kitti 깊이 완성 벤치마크에서 모든 기존 최신 연구를 능가하는 성능을 보입니다.