SpaRC : Fusion Éparse Radar-Caméra pour la Détection d'Objets en 3D

Dans cette étude, nous présentons SpaRC, un nouveau transformateur de fusion parcimonieuse pour la perception 3D qui intègre les sémantiques d'images multivues avec des caractéristiques de points issues de radars et de caméras. La fusion des modalités radar et caméra est apparue comme une paradigme de perception efficace pour les systèmes de conduite autonome. Bien que les approches traditionnelles utilisent des architectures basées sur une vue oiseau (BEV) dense pour l'estimation de profondeur, les transformateurs contemporains basés sur des requêtes excellent dans la détection uniquement par caméra grâce à une méthodologie centrée sur l'objet. Cependant, ces approches basées sur des requêtes présentent des limitations en termes de fausses détections positives et de précision de localisation en raison d'un modèle implicite de profondeur. Nous relevons ces défis par trois contributions clés : (1) la fusion frustum parcimonieuse (SFF) pour l'alignement des caractéristiques inter-modales, (2) l'agrégation radar adaptative à la portée (RAR) pour une localisation d'objets précise, et (3) l'attention auto-locale (LSA) pour une agrégation ciblée des requêtes. Contrairement aux méthodes existantes nécessitant un rendu BEV-grille intensif en calculs, SpaRC opère directement sur les caractéristiques de points encodées, offrant ainsi d'importantes améliorations en termes d'efficacité et de précision. Les évaluations empiriques sur les benchmarks nuScenes et TruckScenes montrent que SpaRC dépasse significativement les détecteurs existants basés sur une BEV dense ou sur des requêtes parcimonieuses. Notre méthode atteint des performances métriques d'état de l'art avec un score NDS de 67,1 et un score AMOTA de 63,1. Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/phi-wol/sparc.