HyperAIHyperAI

Command Palette

Search for a command to run...

LabelDistill : Distillation de connaissances intermodales guidée par des labels pour la détection d'objets 3D basée sur caméra

Kim Sanmin ; Kim Youngseok ; Hwang Sihwan ; Jeong Hyeonjun ; Kum Dongsuk

Résumé

Les récentes avancées dans la détection d'objets 3D basée sur les caméras ont introduit la distillation de connaissances inter-modales pour combler l'écart de performance avec les détecteurs 3D LiDAR, en exploitant les informations géométriques précises contenues dans les nuages de points LiDAR. Cependant, les méthodes actuelles de distillation de connaissances inter-modales tendent à négliger les imperfections inhérentes du LiDAR, telles que l'ambiguïté des mesures sur les objets éloignés ou occultés, qui ne devraient pas être transférées au détecteur d'images. Pour atténuer ces imperfections du modèle enseignant LiDAR, nous proposons une nouvelle méthode qui utilise des caractéristiques exemptes d'incertitude aléatoire issues des labels de vérité terrain. Contrairement aux approches traditionnelles de guidage par labels, nous approximons la fonction inverse de la tête du modèle enseignant afin d'intégrer efficacement les entrées de labels dans l'espace des caractéristiques. Cette approche fournit une guidance supplémentaire et précise en complément du modèle enseignant LiDAR, ce qui améliore ainsi les performances du détecteur d'images. De plus, nous introduisons le partitionnement des caractéristiques, qui permet un transfert efficace des connaissances depuis la modalité enseignante tout en préservant les caractéristiques distinctives de la modalité apprenante, maximisant ainsi le potentiel des deux modalités. Les résultats expérimentaux montrent que notre approche améliore le mAP et le NDS de 5,1 points et 4,9 points par rapport au modèle de base, prouvant l'efficacité de notre méthode. Le code est disponible à l'adresse suivante : https://github.com/sanmin0312/LabelDistill


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
LabelDistill : Distillation de connaissances intermodales guidée par des labels pour la détection d'objets 3D basée sur caméra | Articles | HyperAI