ClusterFusion : Exploiter les caractéristiques spatiales du radar pour la détection 3D d'objets radar-caméra dans les véhicules autonomes

Grâce à la complémentarité entre les radars à ondes millimétriques et les caméras, les méthodes de détection 3D d’objets basées sur le deep learning combinant radar et caméra peuvent produire des détections fiables et précises, même dans des conditions de faible visibilité. Cela les rend particulièrement adaptées aux systèmes de perception des véhicules autonomes, notamment parce que le coût combiné des deux capteurs est inférieur à celui d’un lidar. Les approches récentes radar-caméra effectuent généralement une fusion au niveau des caractéristiques, qui consiste souvent à projeter les points radar sur le même plan que les caractéristiques d’image, puis à fusionner les caractéristiques extraites des deux modalités. Bien que la fusion sur le plan de l’image soit généralement plus simple et plus rapide, la projection des points radar sur ce plan écrase la dimension de profondeur du nuage de points, ce qui peut entraîner une perte d’information et compliquer l’extraction des caractéristiques spatiales du nuage. Nous proposons ClusterFusion, une architecture qui exploite les caractéristiques spatiales locales du nuage de points radar en regroupant d’abord ce dernier en clusters, puis en extrayant les caractéristiques directement sur ces clusters avant de projeter ces caractéristiques sur le plan de l’image. ClusterFusion atteint le meilleur résultat actuel parmi toutes les méthodes radar-caméra monocular sur la portion de test du jeu de données nuScenes, avec un score de détection nuScenes (NDS) de 48,7 %. Nous avons également étudié les performances de différentes stratégies d’extraction de caractéristiques radar appliquées aux clusters de nuage de points : une stratégie basée sur des règles manuelles, une stratégie fondée sur l’apprentissage automatique, ainsi qu’une combinaison des deux, et avons constaté que la stratégie manuelle donnait les meilleurs résultats. L’objectif principal de ce travail est d’explorer l’utilisation des caractéristiques spatiales locales et ponctuelles du radar, en les extrayant directement à partir de clusters de nuages de points radar, afin de concevoir une méthode de détection 3D d’objets radar-caméra monocular qui réalise une fusion de caractéristiques inter-modales sur le plan de l’image.