CRN: 정확하고 강건하며 효율적인 3D 인식을 위한 카메라 레이더 네트워크

자율 주행은 3D 객체 검출, 추적 및 분할을 포함하는 정확하고 빠른 3D 인식 시스템이 필요합니다. 최근 저렴한 카메라 기반 접근 방식은 유망한 결과를 보여주었지만, 조명이 좋지 않거나 날씨가 나쁜 조건에서 취약하며 위치 오류가 큽니다. 따라서, 모든 환경에서 안정적으로 작동하고 정밀한 장거리 측정을 제공하는 저렴한 레이다와 카메라를 융합하는 것이 유망하지만 아직 충분히 연구되지 않았습니다. 본 논문에서는 다양한 작업을 위해 의미론적으로 풍부하고 공간적으로 정확한 상공도(BEV) 특징 맵을 생성하는 새로운 카메라-레이다 융합 프레임워크인 Camera Radar Net(CRN)을 제안합니다. 이미지의 공간 정보 부족 문제를 극복하기 위해 우리는 정확하지만 희소한 레이다 포인트의 도움으로 관점 이미지 특징을 BEV로 변환합니다. 또한 입력 간의 공간 불일치 문제를 해결하기 위해 설계된 다중 모달 디포름블 어텐션을 사용하여 BEV에서 이미지와 레이다 특징 맵을 집계합니다. 실시간 설정에서 CRN은 20 FPS로 작동하면서 nuScenes 데이터셋에서 LiDAR 검출기와 유사한 성능을 달성하며, 100m 설정에서는 먼 거리에서도 더 우수한 성능을 보입니다. 더욱이, 오프라인 설정에서 CRN은 nuScenes 테스트 세트에서 62.4% NDS, 57.5% mAP를 기록하며 모든 카메라 및 카메라-레이다 3D 객체 검출기 중 최고 성능을 보입니다.