Data Free Knowledge Distillation

La distillation de connaissances sans données est une technique qui transfère les connaissances d'un grand modèle pré-entraîné vers un modèle plus petit sans utiliser les données d'entraînement originales. Son objectif est de permettre au modèle plus petit d'apprendre les représentations de caractéristiques complexes et les frontières de décision du modèle plus grand en générant des échantillons synthétiques, tout en maintenant une haute performance et en réduisant les ressources informatiques et les besoins en stockage. Cette technologie présente une valeur d'application significative dans le domaine de la vision par ordinateur, en particulier dans les scénarios où la confidentialité des données est sensible et l'acquisition de données est difficile.