HGSFusion : Fusion radar-caméra basée sur une génération hybride et une synchronisation pour la détection d'objets 3D

Le radar à ondes millimétriques joue un rôle essentiel dans la détection 3D d’objets pour les véhicules autonomes grâce à sa capacité à fonctionner dans toutes les conditions météorologiques et lumineuses. Toutefois, les nuages de points radar présentent une densité très faible et des erreurs inévitables d’estimation d’angle. Pour pallier ces limitations, l’intégration d’une caméra peut aider partiellement à compenser ces défauts. Néanmoins, la fusion directe des données radar et caméra peut entraîner des effets négatifs, voire contraires, en raison du manque d’information de profondeur dans les images et de la faible qualité des caractéristiques visuelles dans des conditions d’éclairage défavorables. Ainsi, dans cet article, nous proposons HGSFusion, un réseau de fusion radar-caméra basé sur la génération hybride et la synchronisation, spécifiquement conçu pour mieux exploiter les potentiels du radar et les caractéristiques d’image dans la détection 3D d’objets. Plus précisément, nous introduisons le module de génération hybride radar (RHGM), qui prend pleinement en compte les erreurs d’estimation de direction d’arrivée (DOA) présentes dans le traitement des signaux radar. Ce module génère des points radar plus denses en utilisant différentes fonctions de densité de probabilité (PDF), avec l’aide d’informations sémantiques. Parallèlement, nous proposons le module de synchronisation dual (DSM), composé d’une synchronisation spatiale et d’une synchronisation de modalité, qui enrichit les caractéristiques d’image à l’aide d’informations positionnelles radar et facilite la fusion des caractéristiques propres à chaque modalité. Des expériences étendues démontrent l’efficacité de notre approche, qui surpasser les méthodes de pointe sur les jeux de données VoD et TJ4DRadSet, avec une amélioration respective de 6,53 % et 2,03 % en RoI AP et BEV AP. Le code est disponible à l’adresse suivante : https://github.com/garfield-cpp/HGSFusion.