볼륨 전파 네트워크: 장거리 깊이 추정을 위한 스테레오-리다르 융합

스테레오 LiDAR 융합은 실용적인 목적으로 두 가지 다른 유형의 3차원 인식을 활용할 수 있다는 점에서 유망한 작업입니다 -- 밀도 높은 3D 정보(스테레오 카메라)와 매우 정확한 희소 포인트 클라우드(LiDAR). 그러나 서로 다른 모달리티와 구조 때문에 센서 데이터를 맞추는 방법이 성공적인 센서 융합의 핵심입니다. 이를 위해 우리는 장거리 깊이 추정을 위한 기하학적 인식을 고려한 스테레오 LiDAR 융합 네트워크, 즉 볼루메트릭 전파 네트워크(volumetric propagation network)를 제안합니다. 우리 네트워크의 핵심 아이디어는 통합된 3D 볼륨 공간에서 스테레오 이미지의 대응 관계를 안내하는 데 사용되는 희소하고 정확한 포인트 클라우드를 활용하는 것입니다. 기존 융합 전략과 달리, 우리는 포인트 클라우드를 직접 볼륨에 임베딩하여 볼륨 내 근처 복셀로 유효한 정보를 전파하고, 대응 관계의 불확실성을 줄일 수 있습니다. 따라서 이는 두 가지 다른 입력 모달리티를 원활하게 융합하고 장거리 깊이 맵을 회귀할 수 있게 합니다. 우리의 융합은 이미지에 의해 안내되는 새로운 특징 추출 층인 FusionConv를 통해 더욱 강화됩니다. FusionConv는 의미론적(2D 이미지 영역)과 기하학적(3D 영역) 관계 모두를 고려하여 포인트 클라우드 특징을 추출하고, 볼륨에서의 융합을 지원합니다. 우리 네트워크는 최근의 스테레오 LiDAR 융합 방법들 중 KITTI 및 Virtual-KITTI 데이터셋에서 최고 수준의 성능을 달성하였습니다.