CenterFusion : Fusion centrée sur le radar et la caméra pour la détection d'objets 3D

Le système de perception dans les véhicules autonomes a pour rôle de détecter et de suivre les objets environnants. Cela est généralement réalisé en exploitant plusieurs modalités de capteurs afin d’améliorer la robustesse et la précision, ce qui rend la fusion de capteurs une composante essentielle du système de perception. Dans cet article, nous nous concentrons sur le problème de la fusion entre capteurs radar et caméra, et proposons une approche de fusion au niveau intermédiaire visant à exploiter conjointement les données radar et visuelles pour la détection d’objets en 3D. Notre méthode, appelée CenterFusion, commence par utiliser un réseau de détection de points centraux pour identifier les objets en localisant leurs points centraux sur l’image. Elle résout ensuite le problème clé d’association de données grâce à une méthode novatrice basée sur le frustum, permettant d’associer les détections radar à leurs points centraux respectifs. Les détections radar associées sont ensuite utilisées pour générer des cartes de caractéristiques radar, complétant ainsi les caractéristiques issues de l’image, et permettant la régression des propriétés des objets telles que la profondeur, la rotation et la vitesse. Nous évaluons CenterFusion sur le défi nuScenes, où elle améliore le score global de détection nuScenes (NDS) de l’algorithme de pointe basé uniquement sur caméra de plus de 12 %. Nous montrons également que CenterFusion améliore significativement la précision de l’estimation de vitesse sans recourir à aucune information temporelle supplémentaire. Le code est disponible à l’adresse suivante : https://github.com/mrnabati/CenterFusion.