HyperAIHyperAI

Command Palette

Search for a command to run...

Techniques améliorées pour l'estimation du maximum de vraisemblance des équations différentielles ordinaires de diffusion

Kaiwen Zheng Cheng Lu Jianfei Chen Jun Zhu

Résumé

Les modèles de diffusion ont fait preuve d'une excellente performance dans divers domaines. L'équation différentielle ordinaire (ODE) associée au flux de probabilité des modèles de diffusion (dites diffusion ODE) constitue un cas particulier des flux normalisants continus (CNF), ce qui permet une inférence déterministe et une évaluation exacte de la vraisemblance. Toutefois, les résultats d'estimation de vraisemblance obtenus par les diffusion ODE restent encore éloignés de ceux atteints par les modèles génératifs de pointe basés sur la vraisemblance. Dans ce travail, nous proposons plusieurs techniques améliorées pour l'estimation de vraisemblance maximale dans les diffusion ODE, tant du point de vue de l'entraînement que de l'évaluation. En ce qui concerne l'entraînement, nous introduisons une paramétrisation de vitesse et explorons des techniques de réduction de variance afin d'accélérer la convergence. Nous dérivons également un objectif de correspondance de flux d'ordre élevé à erreur bornée, adapté au finetuning, qui améliore la vraisemblance de l'ODE tout en lissant sa trajectoire. Pour l'évaluation, nous proposons une nouvelle méthode de déquantification tronquée sans entraînement, permettant de combler l'écart entre entraînement et évaluation fréquemment observé dans les diffusion ODE. Grâce à ces techniques, nous obtenons des résultats de pointe en matière d'estimation de vraisemblance sur des jeux de données d'images (2,56 sur CIFAR-10, 3,43/3,69 sur ImageNet-32) sans recourir à la déquantification variationnelle ni à des augmentations de données, et 2,42 sur CIFAR-10 avec augmentations de données. Le code est disponible à l'adresse suivante : \url{https://github.com/thu-ml/i-DODE}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp