HyperAIHyperAI

Command Palette

Search for a command to run...

BEVDistill : Distillation BEV à travers les modalités pour la détection 3D multi-vue d'objets

Zehui Chen Zhenyu Li Shiquan Zhang Liangji Fang Qinhong Jiang Feng Zhao

Résumé

La détection d’objets 3D à partir de plusieurs vues d’image constitue une tâche fondamentale et difficile pour la compréhension des scènes visuelles. Grâce à son faible coût et à son efficacité élevée, la détection 3D multi-vues a démontré un fort potentiel d’application. Toutefois, détecter précisément les objets à partir de vues perspective s’avère extrêmement difficile en raison du manque d’information de profondeur. Les approches actuelles ont tendance à utiliser des architectures lourdes pour les encodeurs d’images, ce qui les rend inadaptées au déploiement dans des environnements réels. À la différence des images, les points LiDAR offrent une meilleure représentation des indices spatiaux, permettant une localisation hautement précise. Dans ce travail, nous explorons l’intégration de détecteurs basés sur LiDAR pour la détection 3D multi-vues. Au lieu de former directement un réseau de prédiction de profondeur, nous unifions les caractéristiques issues des images et du LiDAR dans l’espace Bird-Eye-View (BEV) et transférons de manière adaptative les connaissances entre des représentations non homogènes dans un cadre enseignant-élève. À cet effet, nous proposons \textbf{BEVDistill}, un cadre de distillation de connaissances (KD) croisées dans l’espace BEV pour la détection 3D multi-vues. Des expériences étendues montrent que la méthode proposée surpasser les approches actuelles de distillation de connaissances sur une base de référence hautement compétitive, BEVFormer, sans introduire de coût supplémentaire au moment de l’inférence. Notamment, notre meilleur modèle atteint un score de 59,4 NDS sur le classement test nuScenes, établissant ainsi un nouveau record d’état de l’art par rapport à divers détecteurs basés uniquement sur des images. Le code sera disponible à l’adresse suivante : https://github.com/zehuichen123/BEVDistill.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp