초록
라이더(Lidar) 기반 센싱은 현재 자율주행 차량의 핵심을 이룬다. 빠른 기술 발전에도 불구하고, 현재의 라이더 센서는 해상도와 가격 면에서 전통적인 컬러 카메라에 비해 여전히 약 20년 정도 뒤처져 있다. 자율주행 시스템에서는 이로 인해 센서에 가까운 큰 물체는 쉽게 탐지되지만, 멀리 떨어진 또는 작은 물체는 단지 한두 개의 측정값에 불과하다. 이는 특히 이러한 물체가 주행 위험 요소로 확인될 경우 심각한 문제를 야기한다. 반면, 같은 물체들은 차량 내장형 RGB 센서에서는 명확하게 관측된다. 본 연구에서는 RGB 센서를 라이더 기반 3차원 인식에 원활하게 융합하는 방법을 제안한다. 제안하는 방법은 2차원 탐지 결과를 기반으로 밀도 높은 3차원 가상 점들을 생성하여 기존에 희박한 3차원 포인트 클라우드를 보완한다. 이러한 가상 점들은 기존 라이더 측정값과 동일한 방식으로 표준 라이더 기반 3차원 탐지기와 자연스럽게 통합된다. 결과적으로 얻어진 다모달 탐지기는 간단하면서도 뛰어난 성능을 보인다. 대규모 nuScenes 데이터셋을 활용한 실험 결과, 제안하는 프레임워크는 강력한 기준 모델인 CenterPoint에 비해 mAP(평균 정확도)를 6.6점 이상 향상시키며, 기존의 경쟁적 융합 기법들보다 우수한 성능을 나타냈다. 코드 및 추가 시각화 자료는 다음 링크에서 확인할 수 있다: https://tianweiy.github.io/mvp/