HyperAIHyperAI

Command Palette

Search for a command to run...

HRFuser : Une architecture de fusion de capteurs multi-résolution pour la détection d'objets 2D

Tim Broedermann Christos Sakaridis Dengxin Dai Luc Van Gool

Résumé

Outre les caméras standard, les véhicules autonomes intègrent généralement plusieurs capteurs supplémentaires, tels que des lidars et des radars, qui permettent d’acquérir des informations plus riches pour percevoir le contenu de la scène de conduite. Bien que plusieurs travaux récents se concentrent sur la fusion de paires spécifiques de capteurs — par exemple caméra avec lidar ou radar — en utilisant des composants architecturaux adaptés au contexte étudié, l’absence d’une architecture générique et modulaire pour la fusion de capteurs reste un manque dans la littérature. Dans ce travail, nous proposons HRFuser, une architecture modulaire pour la détection d’objets 2D multimodale. Elle fusionne plusieurs capteurs de manière hiérarchique à plusieurs résolutions et peut s’étendre à un nombre arbitraire de modalités d’entrée. La conception d’HRFuser s’appuie sur les réseaux d’image haute-résolution les plus avancés pour les tâches de prédiction dense à partir d’images uniquement, et intègre un nouveau bloc d’attention croisée à fenêtres multiples comme mécanisme de fusion entre modalités à plusieurs résolutions. À travers des expériences étendues sur les jeux de données nuScenes et DENSE, qui mettent en œuvre des conditions défavorables, nous démontrons que notre modèle exploite efficacement les caractéristiques complémentaires provenant des modalités supplémentaires, améliorant de manière significative les performances par rapport à une approche basée uniquement sur la caméra, tout en surpassant de façon cohérente les méthodes les plus avancées de fusion 3D et 2D évaluées selon des métriques de détection d’objets 2D. Le code source est disponible publiquement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp