Distillation de jeu de données

La distillation de dataset fait référence à la création d'un petit ensemble de données synthétiques de telle manière qu'un modèle formé sur ce petit ensemble distillé puisse atteindre des performances élevées sur le dataset d'origine de grande taille. L'algorithme prend en entrée un grand dataset réel, génère un petit dataset synthétique distillé, et évalue les performances du modèle sur un dataset réel indépendant. Un excellent dataset distillé ne seulement facilite la compréhension des données, mais il a également de nombreuses applications dans des domaines tels que l'apprentissage continu, la protection de la vie privée et la recherche d'architecture neuronale.