CRN : Réseau Caméra-Radar pour une perception 3D précise, robuste et efficace

La conduite autonome nécessite un système de perception 3D précis et rapide, incluant la détection, le suivi et la segmentation d'objets en trois dimensions. Bien que des approches récentes basées sur des caméras à faible coût aient montré des résultats prometteurs, elles sont sensibles aux conditions d'éclairage défavorables ou au mauvais temps et présentent une grande erreur de localisation. Par conséquent, l'association de caméras avec des radars à faible coût, qui fournissent des mesures précises à longue portée et fonctionnent de manière fiable dans tous les environnements, est prometteuse mais n'a pas encore été suffisamment étudiée. Dans cet article, nous proposons Camera Radar Net (CRN), un nouveau cadre de fusion caméra-radar qui génère une carte de caractéristiques vue du dessus (BEV) riche sémantiquement et précise spatialement pour diverses tâches. Pour surmonter le manque d'informations spatiales dans une image, nous transformons les caractéristiques d'une image en vue perspective en BEV grâce à l'aide de points radar épars mais précis. Nous agrégons ensuite les cartes de caractéristiques d'image et de radar en BEV en utilisant une attention déformable multimodale conçue pour résoudre le désalignement spatial entre les entrées. CRN fonctionne en temps réel à 20 FPS tout en atteignant des performances comparables à celles des détecteurs LiDAR sur nuScenes, et même surpassant ces derniers à grande distance sur un réglage de 100 mètres. De plus, CRN en mode hors ligne obtient un score NDS de 62,4 % et un mAP de 57,5 % sur l'ensemble de tests nuScenes, se classant premier parmi tous les détecteurs d'objets 3D basés sur caméra et caméra-radar.