HyperAIHyperAI

Command Palette

Search for a command to run...

BAEFormer : Transformateurs à interaction bidirectionnelle et précoce pour la segmentation sémantique en vue de dessus

Zhaoxiang Zhang Wei Sui Qian Zhang Junran Peng Yonghao He Cong Pan

Résumé

La segmentation sémantique en vue d’oiseau (Bird’s Eye View, BEV) constitue une tâche essentielle dans le domaine du conduite autonome. Toutefois, les méthodes actuelles basées sur les Transformers rencontrent des difficultés pour transformer la vue perspective (Perspective View, PV) en vue d’oiseau en raison de leurs mécanismes d’interaction unidirectionnels et postérieurs. Pour résoudre ce problème, nous proposons un nouveau cadre de Transformers à interaction bidirectionnelle et précoce, nommé BAEFormer, comprenant (i) une chaîne de traitement PV-BEV à interaction précoce et (ii) un mécanisme d’attention croisée bidirectionnel. Par ailleurs, nous observons que la résolution des cartes de caractéristiques d’image dans le module d’attention croisée a un impact limité sur les performances finales. À la lumière de cette observation cruciale, nous proposons d’augmenter la taille des images d’entrée tout en sous-échantillonnant les caractéristiques d’images multi-vues pour l’interaction croisée, améliorant ainsi la précision tout en maintenant le coût computationnel maîtrisé. Notre méthode proposée pour la segmentation sémantique BEV atteint des performances de pointe dans le cadre d’une inférence en temps réel sur le jeu de données nuScenes, avec un mIoU de 38,9 à 45 FPS sur une seule GPU A100.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
BAEFormer : Transformateurs à interaction bidirectionnelle et précoce pour la segmentation sémantique en vue de dessus | Articles | HyperAI