La classification musicale a été l'une des tâches les plus populaires dans le domaine de la récupération d'informations musicales. Avec le développement des modèles d'apprentissage profond, la dernière décennie a connu des améliorations impressionnantes dans une large gamme de tâches de classification. Cependant, la complexité croissante des modèles rend à la fois l'entraînement et l'inférence coûteux sur le plan computationnel. Dans cet article, nous intégrons les concepts d'apprentissage par transfert et de distillation de connaissances basée sur les caractéristiques, et nous menons une enquête systématique sur l'utilisation d'embeddings audio pré-entraînés comme enseignants pour guider l'entraînement de réseaux étudiants à faible complexité. En régularisant l'espace des caractéristiques des réseaux étudiants avec les embeddings pré-entraînés, les connaissances contenues dans les embeddings enseignants peuvent être transférées aux étudiants. Nous utilisons divers embeddings audio pré-entraînés et évaluons l'efficacité de cette méthode sur les tâches de classification d'instruments musicaux et d'autotagging musical. Les résultats montrent que notre méthode améliore significativement les performances par rapport à un modèle identique entraîné sans la connaissance de l'enseignant. Cette technique peut également être combinée avec des approches classiques de distillation de connaissances pour améliorer davantage les performances du modèle.