Apprentissage des modèles générateurs à l’aide d’estimateurs de densité débruités

L’apprentissage de modèles probabilistes capables d’estimer la densité d’un ensemble donné d’échantillons, ainsi que de générer de nouveaux échantillons à partir de cette densité, constitue l’un des défis fondamentaux de l’apprentissage non supervisé. Nous introduisons un nouveau modèle génératif basé sur des estimateurs de densité débruités (DDE, denoising density estimators), qui sont des fonctions scalaires paramétrées par des réseaux de neurones, entraînées efficacement pour représenter des estimateurs à noyau de la densité des données. En exploitant les DDE, notre contribution principale est une nouvelle technique permettant d’obtenir des modèles génératifs par minimisation directe de la divergence de Kullback-Leibler (KL). Nous démontrons que notre algorithme pour l’obtention de modèles génératifs est garanti de converger vers la solution correcte. Contrairement aux flows normalisants, qui exigent une architecture de réseau spécifique, ou aux flows normalisants continus, qui nécessitent des solveurs d’équations différentielles ordinaires, notre approche ne repose sur aucune contrainte architecturale particulière ni sur des intégrateurs numériques. Les résultats expérimentaux montrent une amélioration significative de l’estimation de densité, ainsi qu’une performance compétitive dans l’entraînement de modèles génératifs.