RadarNeXt : Détecteur d'objets 3D en temps réel et fiable basé sur l'imagerie radar mmWave 4D

La détection d'objets en 3D est cruciale pour la conduite autonome (AD) et les systèmes d'assistance à la conduite avancés (ADAS). Cependant, la plupart des détecteurs 3D privilégient la précision de détection, souvent au détriment de la vitesse d'inférence du réseau dans les applications pratiques. Dans cet article, nous proposons RadarNeXt, un détecteur d'objets en 3D temps réel et fiable basé sur les nuages de points radar mmWave 4D. Il utilise des réseaux neuronaux re-paramétrables pour capturer des caractéristiques multi-échelles, réduire le coût mémoire et accélérer l'inférence. De plus, afin de mettre en évidence les caractéristiques irrégulières du premier plan des nuages de points radar et de supprimer le bruit de fond, nous proposons un réseau d'amélioration du premier plan multi-chemin déformable (MDFEN), garantissant la précision de détection tout en minimisant le sacrifice de vitesse et le nombre excessif de paramètres. Les résultats expérimentaux sur les jeux de données View-of-Delft et TJ4DRadSet valident les performances exceptionnelles et l'efficacité de RadarNeXt, atteignant des mAPs de 50,48 et 32,30 avec la variante utilisant notre MDFEN proposé. Notamment, nos variantes RadarNeXt atteignent des vitesses d'inférence supérieures à 67,10 FPS sur la carte graphique RTX A4000 et 28,40 FPS sur le Jetson AGX Orin. Cette recherche montre que RadarNeXt apporte un nouveau paradigme novateur et efficace pour la perception en 3D basée sur le radar mmWave 4D.