HyperAIHyperAI

Command Palette

Search for a command to run...

CRN : Réseau Caméra-Radar pour une perception 3D précise, robuste et efficace

Kim Youngseok ; Shin Juyeb ; Kim Sanmin ; Lee In-Jae ; Choi Jun Won ; Kum Dongsuk

Résumé

La conduite autonome nécessite un système de perception 3D précis et rapide, incluant la détection, le suivi et la segmentation d'objets en trois dimensions. Bien que des approches récentes basées sur des caméras à faible coût aient montré des résultats prometteurs, elles sont sensibles aux conditions d'éclairage défavorables ou au mauvais temps et présentent une grande erreur de localisation. Par conséquent, l'association de caméras avec des radars à faible coût, qui fournissent des mesures précises à longue portée et fonctionnent de manière fiable dans tous les environnements, est prometteuse mais n'a pas encore été suffisamment étudiée. Dans cet article, nous proposons Camera Radar Net (CRN), un nouveau cadre de fusion caméra-radar qui génère une carte de caractéristiques vue du dessus (BEV) riche sémantiquement et précise spatialement pour diverses tâches. Pour surmonter le manque d'informations spatiales dans une image, nous transformons les caractéristiques d'une image en vue perspective en BEV grâce à l'aide de points radar épars mais précis. Nous agrégons ensuite les cartes de caractéristiques d'image et de radar en BEV en utilisant une attention déformable multimodale conçue pour résoudre le désalignement spatial entre les entrées. CRN fonctionne en temps réel à 20 FPS tout en atteignant des performances comparables à celles des détecteurs LiDAR sur nuScenes, et même surpassant ces derniers à grande distance sur un réglage de 100 mètres. De plus, CRN en mode hors ligne obtient un score NDS de 62,4 % et un mAP de 57,5 % sur l'ensemble de tests nuScenes, se classant premier parmi tous les détecteurs d'objets 3D basés sur caméra et caméra-radar.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp