Liberer HyDRa : Fusion hybride, cohérence de profondeur et radar pour une perception 3D unifiée

Les systèmes de perception 3D basés sur la vision à faible coût pour la conduite autonome ont connu des progrès significatifs ces dernières années, réduisant l'écart avec les méthodes coûteuses utilisant le LiDAR. Le principal défi pour devenir une alternative entièrement fiable réside dans les capacités de prédiction de profondeur robustes, car les systèmes basés sur les caméras peinent avec des portées de détection longues et des conditions d'éclairage et météorologiques défavorables. Dans ce travail, nous présentons HyDRa, une nouvelle architecture de fusion caméra-radar pour diverses tâches de perception 3D. En s'appuyant sur les principes des architectures basées sur la vue BEV (Bird's Eye View), HyDRa introduit une approche hybride de fusion pour combiner les forces des caractéristiques complémentaires des caméras et des radars dans deux espaces de représentation distincts. Notre module Height Association Transformer exploite les caractéristiques radar déjà présentes dans la vue en perspective pour produire des prédictions de profondeur plus robustes et précises. Dans la vue BEV, nous affinons la représentation initiale éparsse par une cohérence de profondeur pondérée par le radar. HyDRa atteint un nouveau niveau d'état de l'art pour la fusion caméra-radar avec un score NDS (NuScenes Detection Score) de 64,2 (+1,8) et un score AMOTA (Average Multi-Object Tracking Accuracy) de 58,4 (+1,5) sur le jeu de données public nuScenes. De plus, nos nouvelles fonctionnalités BEV riches sémantiquement et précises spatialement peuvent être converties directement en une puissante représentation d'occupation, surpassant toutes les méthodes précédentes basées sur les caméras sur le benchmark Occ3D avec une amélioration impressionnante de 3,7 mIoU (mean Intersection over Union). Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/phi-wol/hydra.