RCFusion : Fusion de radar 4-D et caméra à l’aide de caractéristiques vue oiseau pour la détection d’objets 3-D

La fusion entre caméra et radar à ondes millimétriques (MMW) est essentielle pour garantir des systèmes d’automatisation de conduite précis et robustes. Grâce aux progrès réalisés dans le domaine du radar, de nouveaux radars automobiles à haute résolution, appelés radars 4-D, sont apparus. Contrairement aux radars traditionnels qui mesurent uniquement la distance, l’azimut et la vitesse Doppler des objets, les radars 4-D fournissent également une mesure d’élévation, permettant ainsi de générer un nuage de points plus dense. Dans cette étude, nous proposons un réseau de fusion caméra-radar 4-D appelé RCFusion, qui réalise une fusion de caractéristiques multimodales dans un espace commun de vue d’oiseau (BEV, Bird’s-Eye View) afin d’accomplir des tâches de détection d’objets en 3D. Dans la chaîne de traitement de la caméra, des cartes de caractéristiques à plusieurs échelles sont obtenues via un modèle d’encodage d’image (image backbone) et un réseau de pyramide de caractéristiques (FPN). Ces cartes sont ensuite transformées en cartes de caractéristiques orthographiques grâce à une transformation de caractéristiques orthographiques (OFT). Ensuite, des caractéristiques BEV d’image améliorées et à haute granularité sont obtenues via un encodeur à attention partagée spécifiquement conçu. Parallèlement, dans la chaîne de traitement du radar 4-D, un nouveau composant, nommé Radar PillarNet, encode efficacement les caractéristiques radar afin de générer des pseudo-images radar, qui sont ensuite introduites dans un modèle d’encodage de nuage de points pour produire des caractéristiques BEV radar. Un module d’attention interactif (IAM) est proposé pour la phase de fusion, permettant d’obtenir une fusion efficace des caractéristiques BEV à deux modalités. Enfin, une tête de détection générique prédit les classes et les positions des objets. Le modèle RCFusion a été validé sur les jeux de données TJ4DRadSet et view-of-delft (VoD). Les résultats expérimentaux et l’analyse montrent que la méthode proposée permet une fusion efficace des caractéristiques caméra et radar 4-D, assurant ainsi des performances de détection robustes.