HRFuser : Une architecture de fusion de capteurs multi-résolution pour la détection d'objets 2D

Outre les caméras standard, les véhicules autonomes intègrent généralement plusieurs capteurs supplémentaires, tels que des lidars et des radars, qui permettent d’acquérir des informations plus riches pour percevoir le contenu de la scène de conduite. Bien que plusieurs travaux récents se concentrent sur la fusion de paires spécifiques de capteurs — par exemple caméra avec lidar ou radar — en utilisant des composants architecturaux adaptés au contexte étudié, l’absence d’une architecture générique et modulaire pour la fusion de capteurs reste un manque dans la littérature. Dans ce travail, nous proposons HRFuser, une architecture modulaire pour la détection d’objets 2D multimodale. Elle fusionne plusieurs capteurs de manière hiérarchique à plusieurs résolutions et peut s’étendre à un nombre arbitraire de modalités d’entrée. La conception d’HRFuser s’appuie sur les réseaux d’image haute-résolution les plus avancés pour les tâches de prédiction dense à partir d’images uniquement, et intègre un nouveau bloc d’attention croisée à fenêtres multiples comme mécanisme de fusion entre modalités à plusieurs résolutions. À travers des expériences étendues sur les jeux de données nuScenes et DENSE, qui mettent en œuvre des conditions défavorables, nous démontrons que notre modèle exploite efficacement les caractéristiques complémentaires provenant des modalités supplémentaires, améliorant de manière significative les performances par rapport à une approche basée uniquement sur la caméra, tout en surpassant de façon cohérente les méthodes les plus avancées de fusion 3D et 2D évaluées selon des métriques de détection d’objets 2D. Le code source est disponible publiquement.