CR3DT : Fusion Caméra-Radar pour la Détection et le Suivi en 3D

Pour permettre aux véhicules autonomes une détection et un suivi précis des objets environnants, il est essentiel d’utiliser des technologies fiables. Bien que les capteurs de détection et de télémétrie par lumière (LiDAR) aient établi la norme pour les systèmes haute performance, l’attrait des solutions uniquement basées sur les caméras réside dans leur rentabilité. Il convient de noter que, malgré l’utilisation prédominante des capteurs de détection et de télémétrie par radio (RADAR) dans les systèmes automobiles, leur potentiel en matière de détection et de suivi 3D a été largement négligé en raison de la rareté des données et du bruit des mesures. Dans le cadre d’un développement récent, la combinaison de RADARs et de caméras émerge comme une solution prometteuse. Cet article présente Camera-RADAR 3D Detection and Tracking (CR3DT), un modèle de fusion camera-RADAR pour la détection d’objets 3D et le suivi multi-objets (MOT). En s’appuyant sur les fondements de l’architecture BEVDet uniquement basée sur les caméras, reconnue comme étant à l’état de l’art (SotA), CR3DT montre des améliorations substantielles dans les capacités de détection et de suivi grâce à l’intégration des informations spatiales et de vitesse fournies par le capteur RADAR. Les résultats expérimentaux montrent une amélioration absolue des performances de détection de 5,3 % en moyenne sur la précision (mAP) et une augmentation de 14,9 % en moyenne sur la précision du suivi multi-objets (AMOTA) sur le jeu de données nuScenes lorsqu’on utilise les deux modalités. CR3DT comble ainsi l’écart entre les systèmes perçus haute performance et ceux économiques dans le domaine du véhicule autonome, en tirant parti de la présence omniprésente du RADAR dans les applications automobiles. Le code est disponible à : https://github.com/ETH-PBL/CR3DT.