Modèles de diffusion variationnels

Les modèles génératifs fondés sur la diffusion ont démontré une capacité remarquable à produire des synthèses perçues comme impressionnantes, mais peuvent-ils également être de très bons modèles fondés sur la vraisemblance ? Nous répondons affirmativement à cette question, en introduisant une famille de modèles génératifs basés sur la diffusion qui atteignent des performances de pointe en termes de vraisemblance sur des benchmarks standard d'estimation de densité d'images. Contrairement à d'autres modèles basés sur la diffusion, notre méthode permet une optimisation efficace du calendrier de bruit en même temps que du reste du modèle. Nous montrons que la borne inférieure variationnelle (VLB) se simplifie en une expression remarquablement concise en fonction du rapport signal-sur-bruit des données diffusées, ce qui améliore notre compréhension théorique de cette classe de modèles. Grâce à cet éclairage, nous établissons une équivalence entre plusieurs modèles proposés dans la littérature. En outre, nous démontrons que la VLB en temps continu est invariante par rapport au calendrier de bruit, à l'exception du rapport signal-sur-bruit aux extrémités. Cela nous permet d'apprendre un calendrier de bruit qui minimise la variance de l'estimateur de VLB, conduisant à une optimisation plus rapide. En combinant ces avancées avec des améliorations architecturales, nous obtenons des résultats de pointe en termes de vraisemblance sur des benchmarks d'estimation de densité d'images, surpassant des modèles autorégressifs qui ont dominé ces benchmarks depuis de nombreuses années, avec une optimisation souvent bien plus rapide. En outre, nous montrons comment intégrer ce modèle dans un schéma de compression bits-back, et démontrons des taux de compression sans perte proches de l'optimum théorique. Le code est disponible à l'adresse suivante : https://github.com/google-research/vdm.