HyperAIHyperAI

Command Palette

Search for a command to run...

ClusterFusion : Exploiter les caractéristiques spatiales du radar pour la détection 3D d'objets radar-caméra dans les véhicules autonomes

Irfan Tito Kurniawan Bambang Riyanto Trilaksono

Résumé

Grâce à la complémentarité entre les radars à ondes millimétriques et les caméras, les méthodes de détection 3D d’objets basées sur le deep learning combinant radar et caméra peuvent produire des détections fiables et précises, même dans des conditions de faible visibilité. Cela les rend particulièrement adaptées aux systèmes de perception des véhicules autonomes, notamment parce que le coût combiné des deux capteurs est inférieur à celui d’un lidar. Les approches récentes radar-caméra effectuent généralement une fusion au niveau des caractéristiques, qui consiste souvent à projeter les points radar sur le même plan que les caractéristiques d’image, puis à fusionner les caractéristiques extraites des deux modalités. Bien que la fusion sur le plan de l’image soit généralement plus simple et plus rapide, la projection des points radar sur ce plan écrase la dimension de profondeur du nuage de points, ce qui peut entraîner une perte d’information et compliquer l’extraction des caractéristiques spatiales du nuage. Nous proposons ClusterFusion, une architecture qui exploite les caractéristiques spatiales locales du nuage de points radar en regroupant d’abord ce dernier en clusters, puis en extrayant les caractéristiques directement sur ces clusters avant de projeter ces caractéristiques sur le plan de l’image. ClusterFusion atteint le meilleur résultat actuel parmi toutes les méthodes radar-caméra monocular sur la portion de test du jeu de données nuScenes, avec un score de détection nuScenes (NDS) de 48,7 %. Nous avons également étudié les performances de différentes stratégies d’extraction de caractéristiques radar appliquées aux clusters de nuage de points : une stratégie basée sur des règles manuelles, une stratégie fondée sur l’apprentissage automatique, ainsi qu’une combinaison des deux, et avons constaté que la stratégie manuelle donnait les meilleurs résultats. L’objectif principal de ce travail est d’explorer l’utilisation des caractéristiques spatiales locales et ponctuelles du radar, en les extrayant directement à partir de clusters de nuages de points radar, afin de concevoir une méthode de détection 3D d’objets radar-caméra monocular qui réalise une fusion de caractéristiques inter-modales sur le plan de l’image.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
ClusterFusion : Exploiter les caractéristiques spatiales du radar pour la détection 3D d'objets radar-caméra dans les véhicules autonomes | Articles | HyperAI