CR3DT: 카메라-레이더 융합을 통한 3D 탐지 및 추적

자율 주행 차량에서 주변 물체의 정확한 감지와 추적은 필수적입니다. 라이트 검출 및 측정(Light Detection and Ranging, LiDAR) 센서는 고성능 시스템의 기준을 설정했지만, 카메라만을 사용하는 솔루션의 매력은 비용 효율성에 있습니다. 특히, 자동차 시스템에서 라디오 검출 및 측정(Radio Detection and Ranging, RADAR) 센서가 널리 사용되고 있지만, 데이터 부족과 측정 노이즈로 인해 3D 감지와 추적의 잠재력이 대부분 무시되어 왔습니다. 최근 발전으로, RADAR와 카메라를 결합한 방법이 유망한 해결책으로 부상하고 있습니다.본 논문에서는 카메라-RADAR 융합 모델인 Camera-RADAR 3D Detection and Tracking (CR3DT)를 소개합니다. CR3DT는 최신 기술(State-of-the-Art, SotA) 카메라만을 사용하는 BEVDet 아키텍처를 기반으로 하며, RADAR 센서의 공간 정보와 속도 정보를 통합하여 감지와 추적 능력을 크게 향상시키는 것을 보여줍니다. 실험 결과, nuScenes 데이터셋에서 두 가지 모달성을 활용함으로써 평균 정밀도(mean Average Precision, mAP)에서 5.3% 절대적인 성능 향상과 다중 객체 추적 정확도(Average Multi-Object Tracking Accuracy, AMOTA)에서 14.9% 증가를 달성했습니다.CR3DT는 자동차 애플리케이션에서 RADAR의 보편적인 존재를 활용하여 자율 주행 차량에서 고성능과 비용 효율성을 연결하는 역할을 합니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/ETH-PBL/CR3DT.