ClusterFusion: 자율주행 차량에서 레이더-카메라 3D 객체 탐지에 위한 레이더 공간 특징 활용

밀리미터파 레이더와 카메라 간의 상보적인 특성 덕분에, 딥러닝 기반의 레이더-카메라 3D 객체 탐지 방법은 저시인성 조건에서도 신뢰성 있게 정확한 탐지를 가능하게 한다. 이는 자율주행 차량의 인지 시스템에서 레이더와 카메라의 병합 비용이 라이다보다 낮다는 점을 감안할 때, 특히 유리한 선택이 된다. 최근의 레이더-카메라 기법들은 일반적으로 특징 수준의 융합을 수행하며, 이는 레이더 포인트를 이미지 특징과 동일한 평면에 투영하고, 두 모달리티에서 추출한 특징을 융합하는 방식을 포함한다. 이미지 평면에서의 융합은 일반적으로 간단하고 빠르지만, 레이더 포인트를 이미지 평면에 투영하는 과정에서 포인트 클라우드의 깊이 차원이 평탄화되어 정보 손실이 발생할 수 있으며, 포인트 클라우드의 공간적 특징을 추출하는 데 어려움이 따른다. 본 연구에서는 포인트 클라우드를 군집화하여 지역 공간적 특징을 활용하고, 그 군집에 대해 직접 특징 추출을 수행한 후 이를 이미지 평면에 투영하는 아키텍처인 ClusterFusion을 제안한다. ClusterFusion은 nuScenes 데이터셋의 테스트 슬라이스에서 레이더-모노카메라 방법 중 최고 수준의 성능을 기록하며, 48.7%의 nuScenes 탐지 점수(NDS)를 달성했다. 또한, 포인트 클라우드 군집에 적용 가능한 다양한 레이더 특징 추출 전략—수작업 기반 전략, 학습 기반 전략, 그리고 두 전략의 병합 방식—의 성능을 비교 분석한 결과, 수작업 기반 전략이 가장 우수한 성능을 보였다. 본 연구의 주요 목적은 레이더의 지역 공간적 특징과 포인트 단위 특징을 직접 레이더 포인트 클라우드 군집에서 추출함으로써, 이미지 평면에서 다모달 특징 융합을 수행하는 레이더-모노카메라 3D 객체 탐지 방법의 가능성을 탐색하는 것이다.