Modélisation générative basée sur les scores dans l'espace latent

Les modèles génératifs basés sur les scores (SGMs) ont récemment obtenu des résultats remarquables en termes de qualité des échantillons et de couverture de la distribution. Toutefois, ils sont généralement appliqués directement dans l’espace des données et nécessitent souvent des milliers d’évaluations de réseau pour générer des échantillons. Dans ce travail, nous proposons le Latent Score-based Generative Model (LSGM), une nouvelle approche qui entraîne les SGMs dans un espace latent, s’appuyant sur le cadre des autoencodeurs variationnels. Le passage de l’espace des données à l’espace latent permet d’entraîner des modèles génératifs plus expressifs, d’appliquer les SGMs à des données non continues, et d’apprendre des SGMs plus lisses dans un espace réduit, ce qui se traduit par un nombre réduit d’évaluations de réseau et un échantillonnage plus rapide. Pour permettre l’entraînement des LSGM de manière end-to-end, scalable et stable, nous (i) introduisons une nouvelle objectif de matching de score adapté au cadre LSGM, (ii) proposons une nouvelle paramétrisation de la fonction de score permettant aux SGMs de se concentrer sur l’écart entre la distribution cible et une distribution normale simple, et (iii) dérivons analytiquement plusieurs techniques pour réduire la variance de l’objectif d’entraînement. Le LSGM atteint un score FID de 2,10 sur CIFAR-10, surpassant tous les résultats génératifs existants sur ce jeu de données. Sur CelebA-HQ-256, le LSGM est compétitif en qualité des échantillons par rapport aux SGMs antérieurs tout en surpassant significativement ces derniers en temps d’échantillonnage, avec une amélioration de deux ordres de grandeur. Dans la modélisation d’images binaires, le LSGM obtient un score de vraisemblance état-de-l’art sur le jeu de données binarisé OMNIGLOT. La page de projet et le code sont disponibles à l’adresse suivante : https://nvlabs.github.io/LSGM.