Les Données Synthétiques des Modèles de Diffusion Sont-Elles Prêtes pour la Distillation de Connaissances ?

Les modèles de diffusion ont récemment obtenu des performances étonnantes dans la génération d'images photo-réalistes de haute fidélité. Malgré leur immense succès, il reste encore incertain si les images synthétiques peuvent être utilisées pour la distillation de connaissances lorsque les images réelles ne sont pas disponibles. Dans cet article, nous menons une étude approfondie sur la possibilité et la manière dont les images synthétiques produites par des modèles de diffusion de pointe peuvent être utilisées pour la distillation de connaissances sans accès à des images réelles, et nous tirons trois conclusions clés : (1) les données synthétiques issues des modèles de diffusion peuvent facilement conduire à des performances de pointe parmi les méthodes existantes basées sur la synthèse, (2) les images synthétiques de faible fidélité sont meilleures matières d'enseignement, et (3) les classifieurs relativement faibles sont meilleurs enseignants. Le code est disponible à l'adresse suivante : https://github.com/zhengli97/DM-KD.