VAEBM : Une symbiose entre les autoencodeurs variationnels et les modèles à énergie

Les modèles basés sur l’énergie (Energy-based models, EBM) ont récemment connu un succès important dans la représentation de distributions complexes sur de petites images. Toutefois, l’échantillonnage à partir de ces modèles nécessite des itérations coûteuses par chaîne de Monte Carlo markovienne (MCMC), qui convergent lentement dans l’espace pixel à haute dimension. À la différence des EBM, les autoencodeurs variationnels (Variational Autoencoders, VAE) permettent une génération rapide d’échantillons et disposent d’un espace latent qui facilite un parcours rapide de la variété des données. Toutefois, les VAE ont tendance à attribuer une densité de probabilité élevée à des régions de l’espace des données situées en dehors de la véritable distribution des données, et échouent fréquemment à produire des images nettes. Dans ce papier, nous proposons VAEBM, une composition symbiotique d’un VAE et d’un EBM, combinant les avantages des deux approches. VAEBM capture la structure globale des modes de la distribution des données grâce à un VAE de pointe, tout en s’appuyant sur sa composante EBM pour exclure explicitement les régions non similaires aux données et améliorer la qualité des échantillons générés. De plus, la composante VAE dans VAEBM permet d’accélérer les mises à jour MCMC en les réparamétrant dans l’espace latent du VAE. Nos résultats expérimentaux montrent que VAEBM surpassent largement les VAE et EBM d’état de l’art en termes de qualité de génération sur plusieurs jeux de données d’images standards. Il est capable de générer des images de haute qualité de taille jusqu’à 256×256 pixels avec des chaînes MCMC courtes. Nous démontrons également que VAEBM assure une couverture complète des modes et se distingue dans la détection de données hors distribution. Le code source est disponible à l’adresse suivante : https://github.com/NVlabs/VAEBM