Génération implicite et modélisation avec des modèles à énergie

Les modèles basés sur l’énergie (Energy-Based Models, EBM) sont attrayants en raison de leur généralité et de leur simplicité dans la modélisation de la vraisemblance, mais leur entraînement a traditionnellement été difficile. Nous présentons des techniques permettant d’échelonner l’entraînement des EBM basés sur les méthodes de Monte Carlo par chaînes de Markov (MCMC) sur des réseaux de neurones continus, et démontrons leur efficacité sur des domaines de données à haute dimension tels que ImageNet32x32, ImageNet128x128, CIFAR-10 et des trajectoires de main robotisée, produisant des échantillons de qualité supérieure à celle des autres modèles de vraisemblance, tout en se rapprochant des performances des approches GAN contemporaines, tout en couvrant l’ensemble des modes des données. Nous mettons en évidence certaines capacités uniques de la génération implicite, telles que la compositionnalité et la reconstruction d’images altérées ainsi que l’imputation d’images manquantes. Enfin, nous montrons que les EBM constituent des modèles performants sur une large variété de tâches, atteignant des résultats de pointe en classification hors distribution, en classification robuste aux attaques adverses, en apprentissage continu en ligne de nouvelles classes, ainsi qu’en prévision cohérente de trajectoires à long terme.