HyperAIHyperAI

Command Palette

Search for a command to run...

Liberer HyDRa : Fusion hybride, cohérence de profondeur et radar pour une perception 3D unifiée

Philipp Wolters Johannes Gilg Torben Teepe Fabian Herzog Anouar Laouiichi Martin Hofmann Gerhard Rigoll

Résumé

Les systèmes de perception 3D basés sur la vision à faible coût pour la conduite autonome ont connu des progrès significatifs ces dernières années, réduisant l'écart avec les méthodes coûteuses utilisant le LiDAR. Le principal défi pour devenir une alternative entièrement fiable réside dans les capacités de prédiction de profondeur robustes, car les systèmes basés sur les caméras peinent avec des portées de détection longues et des conditions d'éclairage et météorologiques défavorables. Dans ce travail, nous présentons HyDRa, une nouvelle architecture de fusion caméra-radar pour diverses tâches de perception 3D. En s'appuyant sur les principes des architectures basées sur la vue BEV (Bird's Eye View), HyDRa introduit une approche hybride de fusion pour combiner les forces des caractéristiques complémentaires des caméras et des radars dans deux espaces de représentation distincts. Notre module Height Association Transformer exploite les caractéristiques radar déjà présentes dans la vue en perspective pour produire des prédictions de profondeur plus robustes et précises. Dans la vue BEV, nous affinons la représentation initiale éparsse par une cohérence de profondeur pondérée par le radar. HyDRa atteint un nouveau niveau d'état de l'art pour la fusion caméra-radar avec un score NDS (NuScenes Detection Score) de 64,2 (+1,8) et un score AMOTA (Average Multi-Object Tracking Accuracy) de 58,4 (+1,5) sur le jeu de données public nuScenes. De plus, nos nouvelles fonctionnalités BEV riches sémantiquement et précises spatialement peuvent être converties directement en une puissante représentation d'occupation, surpassant toutes les méthodes précédentes basées sur les caméras sur le benchmark Occ3D avec une amélioration impressionnante de 3,7 mIoU (mean Intersection over Union). Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/phi-wol/hydra.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Liberer HyDRa : Fusion hybride, cohérence de profondeur et radar pour une perception 3D unifiée | Articles | HyperAI