RCBEVDet: 레이더-카메라 융합을 이용한 조류 시점에서의 3D 객체 검출

자율 주행에서 3차원 객체 검출은 핵심적인 작업 중 하나입니다. 실제 적용에서 비용을 줄이기 위해, 고가의 LiDAR 센서를 대체하기 위해 저렴한 다중 시점 카메라를 사용하여 3D 객체 검출을 수행하는 방안이 제안되었습니다. 그러나 카메라만으로는 높은 정확도와 강건성을 가진 3D 객체 검출을 실현하는 것이 어렵습니다. 이 문제에 대한 효과적인 해결책은 경제적인 밀리미터파 레이더 센서와 다중 시점 카메라를 결합하여 더 신뢰할 수 있는 다중 모달 3D 객체 검출을 달성하는 것입니다.본 논문에서는 RCBEVDet, 즉 레이더-카메라 융합 3D 객체 검출 방법에 대해 소개합니다. 특히, 레이더 BEV 특징 추출을 위한 RadarBEVNet을 설계하였습니다. RadarBEVNet은 듀얼 스트림 레이더 백본과 RCS(Radar Cross-Section) 인식 BEV 인코더로 구성됩니다. 듀얼 스트림 레이더 백본에서는 점 기반 인코더와 트랜스포머 기반 인코더를 제안하여 레이더 특징을 추출하며, 두 인코더 간의 통신을 용이하게 하기 위한 주입 및 추출 모듈을 포함하고 있습니다. RCS 인식 BEV 인코더는 BEV에서 점 특징을 산포시키기 전에 RCS를 객체 크기 사전 정보로 사용합니다.또한, 변형 가능한 주의 메커니즘(deformable attention mechanism)을 활용하여 레이더와 카메라로부터 얻은 다중 모달 BEV 특징을 자동으로 맞춤화하는 Cross-Attention Multi-layer Fusion 모듈을 제시합니다. 이를 통해 채널 및 공간 융합 계층에서 특징을 융합합니다. 실험 결과, RCBEVDet는 nuScenes 및 view-of-delft (VoD) 3D 객체 검출 벤치마크에서 새로운 최고 수준의 레이더-카메라 융합 결과를 달성하였습니다. 또한, RCBEVDet는 모든 실시간 카메라 전용 및 레이더-카메라 3D 객체 검출기보다 더 우수한 3D 검출 성능과 더 빠른 추론 속도(21~28 FPS)를 보여주었습니다. 소스 코드는 https://github.com/VDIGPKU/RCBEVDet에서 공개될 예정입니다.