HyperAIHyperAI

Command Palette

Search for a command to run...

LaRa : Latents et Rayons pour la Segmentation Sémantique en Vue d'Oiseau Multi-Caméras

Florent Bartoccioni Éloi Zablocki Andrei Bursuc Patrick Pérez Matthieu Cord Karteek Alahari

Résumé

Les travaux récents dans le domaine de la conduite autonome ont largement adopté la carte sémantique en vue d'oiseau (BEV) comme représentation intermédiaire du monde. La prédiction en ligne de ces cartes BEV implique des opérations non triviales telles que l'extraction de données multicaméra, ainsi que leur fusion et leur projection dans une grille de vue aérienne commune. Cela est généralement réalisé par des opérations géométriques sujettes aux erreurs (par exemple, l'homographie ou la réprojection à partir de l'estimation de profondeur monoculaire) ou par un mappage direct dense coûteux entre les pixels d'image et les pixels BEV (par exemple, avec des MLP ou de l'attention). Dans ce travail, nous présentons « LaRa », un modèle efficace basé sur un encodeur-décodeur et des transformateurs pour la segmentation sémantique des véhicules à partir de plusieurs caméras. Notre approche utilise un système d'attention croisée pour agréger les informations provenant de plusieurs capteurs dans une collection compacte mais riche de représentations latentes. Après avoir été traitées par une série de blocs d'auto-attention, ces représentations latentes sont ensuite reprojetées dans l'espace BEV grâce à une deuxième attention croisée. Nous démontrons que notre modèle surpasse les meilleurs travaux précédents utilisant des transformateurs sur nuScenes. Le code source et les modèles entraînés sont disponibles à l'adresse suivante : https://github.com/valeoai/LaRa


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp