Modèles de diffusion prédicteur-correcteur discrets pour la synthèse d'images

Nous introduisons les modèles de diffusion prédicteur-correcteur discrets (DPC), qui étendent les échantillonneurs prédicteur-correcteur des modèles de diffusion gaussiens au cas discret. Les échantillonneurs prédicteur-correcteur forment une catégorie d’échantillonneurs pour les modèles de diffusion, améliorant les échantillonneurs ancestraux en corrigeant la distribution d’échantillonnage des états intermédiaires de diffusion à l’aide de méthodes MCMC. Dans le cadre de DPC, le correcteur de Langevin, qui n’a pas de counterpart direct dans l’espace discret, est remplacé par une transition MCMC discrète définie à partir d’un noyau correcteur appris. Ce noyau correcteur est entraîné afin que les étapes de correction convergent asymptotiquement, en distribution, vers la vraie marginales des états intermédiaires de diffusion. Grâce à DPC, nous réexaminons récemment les modèles génératifs non-autorégressifs basés sur les transformateurs à travers le prisme de la diffusion discrète, et constatons que DPC permet de réduire l’accumulation des erreurs de décodage due à l’échantillonnage parallèle des tokens visuels. Nos expériences montrent que DPC améliore les modèles existants à espace latent discret pour la génération d’images conditionnelles par classe sur ImageNet, et dépasse à la fois les modèles de diffusion continus et les GANs selon des métriques standards ainsi que des études de préférences utilisateurs.