LXL : Détection 3D d'objets avec exclusion LiDAR par apprentissage léger, basée sur la fusion de radar à imagerie 4D et de caméra
En tant que technologie émergente et dispositif relativement abordable, le radar d'imagerie 4D a déjà été confirmé efficace pour la détection 3D d'objets dans les véhicules autonomes. Toutefois, la sparsité et le bruit présents dans les nuages de points radar 4D limitent davantage l'amélioration des performances, et des études approfondies sur leur fusion avec d'autres modalités font encore défaut. D'un autre côté, comme nouvelle stratégie de transformation de vue d'image, la méthode « sampling » a été appliquée dans quelques détecteurs basés sur l'image et a démontré des performances supérieures à celles de la méthode largement utilisée « depth-based splatting » proposée dans Lift-Splat-Shoot (LSS), même en l'absence de prédiction de profondeur d'image. Pourtant, le potentiel de la technique « sampling » n'est pas encore pleinement exploité. Ce papier explore la stratégie de transformation de vue « sampling » dans le cadre de la détection 3D d'objets basée sur la fusion caméra-radar 4D. Le modèle LiDAR Excluded Lean (LXL) génère des cartes de distribution de profondeur prédites à partir des caractéristiques de vue perspective (PV) d'image, ainsi que des grilles d'occupation 3D radar à partir des caractéristiques de vue de dessus (BEV) radar. Ces éléments sont envoyés vers le cœur du modèle LXL, nommé « sampling basé sur l'occupation radar », afin d'assister la transformation de vue d'image. Nous démontrons qu'une transformation de vue plus précise peut être obtenue en intégrant à la fois les profondeurs d'image et les informations radar pour renforcer la stratégie « sampling ». Des expériences menées sur les jeux de données VoD et TJ4DRadSet montrent que la méthode proposée surpasse de manière significative les méthodes d'état de l'art en détection 3D d'objets, sans recourir à des ajouts complexes. Des études d'ablation confirment que notre approche obtient les meilleurs résultats parmi différentes configurations d'amélioration.