HyperAIHyperAI

Command Palette

Search for a command to run...

TransFusion : Fusion robuste LiDAR-Caméra pour la détection d'objets 3D avec des Transformers

Xuyang Bai Zeyu Hu Xinge Zhu Qingqiu Huang Yilun Chen Hongbo Fu Chiew-Lan Tai

Résumé

Le LiDAR et la caméra sont deux capteurs essentiels pour la détection d’objets 3D dans les véhicules autonomes. Malgré l’essor croissant de la fusion de capteurs dans ce domaine, la robustesse face à des conditions d’image défavorables — telles que des éclairages médiocres ou des erreurs d’alignement des capteurs — reste peu explorée. Les méthodes de fusion existantes sont facilement affectées par ces conditions, principalement en raison d’une association rigide entre les points LiDAR et les pixels d’image, établie à l’aide de matrices de calibration. Nous proposons TransFusion, une solution robuste pour la fusion LiDAR-caméra reposant sur un mécanisme d’association souple afin de gérer efficacement les conditions d’image dégradées. Plus précisément, TransFusion repose sur des architectures convolutives et une tête de détection basée sur un décodeur transformer. La première couche du décodeur prédit des boîtes englobantes initiales à partir d’un nuage de points LiDAR en utilisant un ensemble éparse de requêtes d’objets, tandis que la deuxième couche du décodeur fusionne de manière adaptative ces requêtes avec des caractéristiques d’image pertinentes, en exploitant à la fois les relations spatiales et contextuelles. Le mécanisme d’attention du transformer permet à notre modèle d’adapter dynamiquement l’information à extraire de l’image — en termes de localisation et de contenu — conduisant ainsi à une stratégie de fusion robuste et efficace. Nous avons également conçu une stratégie d’initialisation des requêtes guidée par l’image pour traiter les objets difficiles à détecter dans les nuages de points. TransFusion atteint des performances de pointe sur des jeux de données à grande échelle. Nous présentons des expériences approfondies démontrant sa robustesse face à une dégradation de la qualité d’image et à des erreurs de calibration. Nous étendons également la méthode proposée à la tâche de suivi 3D, obtenant ainsi la première place au classement du benchmark nuScenes Tracking, ce qui atteste de son efficacité et de sa capacité de généralisation.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp