Modélisation générative par estimation des gradients de la distribution de données

Nous présentons un nouveau modèle génératif où les échantillons sont produits par dynamiques de Langevin en utilisant les gradients de la distribution des données estimés par appariement de scores. Comme les gradients peuvent être mal définis et difficiles à estimer lorsque les données se trouvent sur des variétés de faible dimension, nous perturbons les données avec différents niveaux de bruit gaussien et estimons conjointement les scores correspondants, c'est-à-dire les champs de vecteurs des gradients de la distribution des données perturbées pour tous les niveaux de bruit. Pour l'échantillonnage, nous proposons une dynamique de Langevin atténuée où nous utilisons les gradients correspondant à des niveaux de bruit progressivement décroissants au fur et à mesure que le processus d'échantillonnage s'approche de la variété des données. Notre cadre permet des architectures de modèles flexibles, n'exige aucun échantillonnage pendant l'entraînement ou l'utilisation de méthodes adverses, et fournit un objectif d'apprentissage qui peut être utilisé pour des comparaisons de modèles fondées sur des principes. Nos modèles produisent des échantillons comparables à ceux des GANs sur les ensembles de données MNIST, CelebA et CIFAR-10, atteignant un nouveau record du score d'inception de 8,87 sur CIFAR-10. De plus, nous démontrons que nos modèles apprennent des représentations efficaces grâce à des expériences d'interpolation d'images (image inpainting).