HyperAIHyperAI

Command Palette

Search for a command to run...

MVFusion : Détection d'objets 3D multi-vues par fusion sémantiquement alignée entre radar et caméra

Zizhang Wu Guilian Chen Yuanzhu Gan Lei Wang Jian Pu

Résumé

La détection 3D d'objets par fusion radar-caméra à plusieurs vues offre une portée de détection plus grande et des caractéristiques plus pertinentes pour les véhicules autonomes, en particulier dans des conditions météorologiques défavorables. Les méthodes actuelles de fusion radar-caméra proposent diverses approches pour combiner les informations radar avec les données de caméra. Toutefois, ces approches de fusion s'appuient généralement sur une opération de concaténation directe entre les caractéristiques multi-modales, ce qui néglige l’alignement sémantique entre les caractéristiques radar et les corrélations suffisantes entre les modalités. Dans cet article, nous présentons MVFusion, une nouvelle méthode de fusion radar-caméra à plusieurs vues, visant à obtenir des caractéristiques radar alignées sémantiquement et à renforcer l’interaction d’information entre modalités. Pour atteindre cet objectif, nous introduisons un encodeur radar aligné sémantiquement (SARE) afin d’injecter un alignement sémantique dans les caractéristiques radar, produisant ainsi des caractéristiques radar guidées par l’image. Ensuite, nous proposons un transformateur de fusion guidé par le radar (RGFT), qui permet de fusionner nos caractéristiques radar et image afin de renforcer la corrélation entre les deux modalités à l’échelle globale grâce au mécanisme d’attention croisée. Des expérimentations étendues montrent que MVFusion atteint des performances de pointe sur le jeu de données nuScenes (51,7 % de NDS et 45,3 % de mAP). Nous rendrons disponible notre code ainsi que les réseaux entraînés à la publication.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp