RCM-Fusion: 3차원 객체 탐지를 위한 레이더-카메라 다중 수준 융합

LiDAR 센서는 3차원 객체 탐지에 성공적으로 적용되어 왔으나, 레이더 및 카메라 센서의 저렴한 가격대가 레이더와 카메라의 융합에 대한 관심을 높이고 있다. 그러나 기존의 레이더-카메라 융합 모델은 레이더 정보의 잠재력을 충분히 활용하지 못했다. 본 논문에서는 특징 수준과 인스턴스 수준에서 양 모달리티를 융합하는 레이더-카메라 다중 수준 융합(Radar-Camera Multi-level fusion, RCM-Fusion)을 제안한다. 특징 수준 융합을 위해, 레이더의 Birds-Eye-View(BEV) 특징을 활용하여 카메라 특징을 정밀한 BEV 표현으로 변환하고 레이더 및 카메라의 BEV 특징을 결합하는 레이더 가이드 BEV 인코더를 제안한다. 인스턴스 수준 융합을 위해, 레이더 포인트 클라우드의 특성을 고려하여 위치 추정 오차를 줄이는 레이더 격자 포인트 정밀화 모듈을 제안한다. 공개된 nuScenes 데이터셋을 기반으로 수행한 실험 결과, 제안하는 RCM-Fusion이 nuScenes 3차원 객체 탐지 벤치마크에서 단일 프레임 기반 레이더-카메라 융합 방법 중 최고 성능을 달성함을 입증하였다. 코드는 공개될 예정이다.