LabelDistill : Distillation de connaissances intermodales guidée par des labels pour la détection d'objets 3D basée sur caméra

Les récentes avancées dans la détection d'objets 3D basée sur les caméras ont introduit la distillation de connaissances inter-modales pour combler l'écart de performance avec les détecteurs 3D LiDAR, en exploitant les informations géométriques précises contenues dans les nuages de points LiDAR. Cependant, les méthodes actuelles de distillation de connaissances inter-modales tendent à négliger les imperfections inhérentes du LiDAR, telles que l'ambiguïté des mesures sur les objets éloignés ou occultés, qui ne devraient pas être transférées au détecteur d'images. Pour atténuer ces imperfections du modèle enseignant LiDAR, nous proposons une nouvelle méthode qui utilise des caractéristiques exemptes d'incertitude aléatoire issues des labels de vérité terrain. Contrairement aux approches traditionnelles de guidage par labels, nous approximons la fonction inverse de la tête du modèle enseignant afin d'intégrer efficacement les entrées de labels dans l'espace des caractéristiques. Cette approche fournit une guidance supplémentaire et précise en complément du modèle enseignant LiDAR, ce qui améliore ainsi les performances du détecteur d'images. De plus, nous introduisons le partitionnement des caractéristiques, qui permet un transfert efficace des connaissances depuis la modalité enseignante tout en préservant les caractéristiques distinctives de la modalité apprenante, maximisant ainsi le potentiel des deux modalités. Les résultats expérimentaux montrent que notre approche améliore le mAP et le NDS de 5,1 points et 4,9 points par rapport au modèle de base, prouvant l'efficacité de notre méthode. Le code est disponible à l'adresse suivante : https://github.com/sanmin0312/LabelDistill