HyperAIHyperAI

Command Palette

Search for a command to run...

Modèles de diffusion variationnels

Diederik P. Kingma Tim Salimans Ben Poole Jonathan Ho

Résumé

Les modèles génératifs fondés sur la diffusion ont démontré une capacité remarquable à produire des synthèses perçues comme impressionnantes, mais peuvent-ils également être de très bons modèles fondés sur la vraisemblance ? Nous répondons affirmativement à cette question, en introduisant une famille de modèles génératifs basés sur la diffusion qui atteignent des performances de pointe en termes de vraisemblance sur des benchmarks standard d'estimation de densité d'images. Contrairement à d'autres modèles basés sur la diffusion, notre méthode permet une optimisation efficace du calendrier de bruit en même temps que du reste du modèle. Nous montrons que la borne inférieure variationnelle (VLB) se simplifie en une expression remarquablement concise en fonction du rapport signal-sur-bruit des données diffusées, ce qui améliore notre compréhension théorique de cette classe de modèles. Grâce à cet éclairage, nous établissons une équivalence entre plusieurs modèles proposés dans la littérature. En outre, nous démontrons que la VLB en temps continu est invariante par rapport au calendrier de bruit, à l'exception du rapport signal-sur-bruit aux extrémités. Cela nous permet d'apprendre un calendrier de bruit qui minimise la variance de l'estimateur de VLB, conduisant à une optimisation plus rapide. En combinant ces avancées avec des améliorations architecturales, nous obtenons des résultats de pointe en termes de vraisemblance sur des benchmarks d'estimation de densité d'images, surpassant des modèles autorégressifs qui ont dominé ces benchmarks depuis de nombreuses années, avec une optimisation souvent bien plus rapide. En outre, nous montrons comment intégrer ce modèle dans un schéma de compression bits-back, et démontrons des taux de compression sans perte proches de l'optimum théorique. Le code est disponible à l'adresse suivante : https://github.com/google-research/vdm.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp