초록
자율주행 차량의 인지 시스템은 주변 물체를 탐지하고 추적하는 역할을 수행한다. 일반적으로 다양한 센서 모달리티를 활용하여 시스템의 강건성과 정확도를 높이기 때문에, 센서 융합은 인지 시스템의 핵심 요소로 작용한다. 본 논문에서는 레이더와 카메라 센서의 융합 문제에 초점을 맞추어, 3차원 객체 탐지에 있어 레이더와 카메라 데이터를 동시에 활용하는 중간 융합(middle-fusion) 기법을 제안한다. 제안하는 방법인 CenterFusion은 먼저 이미지 상의 객체 중심점(center point)을 식별함으로써 객체를 탐지하는 중심점 탐지 네트워크를 사용한다. 이후, 레이더 탐지 결과를 해당 객체의 중심점과 매칭하는 새로운 프루스텀 기반(frustum-based) 방법을 통해 핵심적인 데이터 연관 문제를 해결한다. 매칭된 레이더 탐지 결과를 바탕으로 레이더 기반 특징 맵을 생성하여 이미지 특징을 보완하고, 깊이, 회전각, 속도와 같은 객체 속성을 회귀(regression)한다. 제안한 방법은 도전적인 nuScenes 데이터셋에서 평가되었으며, 최신 카메라 기반 알고리즘의 전체 nuScenes Detection Score(NDS)를 12% 이상 향상시켰다. 또한, 추가적인 시간 정보 없이도 속도 추정 정확도가 크게 향상됨을 보여주었다. 관련 코드는 https://github.com/mrnabati/CenterFusion 에서 공개되어 있다.