Techniques améliorées pour l'estimation du maximum de vraisemblance des équations différentielles ordinaires de diffusion

Les modèles de diffusion ont fait preuve d'une excellente performance dans divers domaines. L'équation différentielle ordinaire (ODE) associée au flux de probabilité des modèles de diffusion (dites diffusion ODE) constitue un cas particulier des flux normalisants continus (CNF), ce qui permet une inférence déterministe et une évaluation exacte de la vraisemblance. Toutefois, les résultats d'estimation de vraisemblance obtenus par les diffusion ODE restent encore éloignés de ceux atteints par les modèles génératifs de pointe basés sur la vraisemblance. Dans ce travail, nous proposons plusieurs techniques améliorées pour l'estimation de vraisemblance maximale dans les diffusion ODE, tant du point de vue de l'entraînement que de l'évaluation. En ce qui concerne l'entraînement, nous introduisons une paramétrisation de vitesse et explorons des techniques de réduction de variance afin d'accélérer la convergence. Nous dérivons également un objectif de correspondance de flux d'ordre élevé à erreur bornée, adapté au finetuning, qui améliore la vraisemblance de l'ODE tout en lissant sa trajectoire. Pour l'évaluation, nous proposons une nouvelle méthode de déquantification tronquée sans entraînement, permettant de combler l'écart entre entraînement et évaluation fréquemment observé dans les diffusion ODE. Grâce à ces techniques, nous obtenons des résultats de pointe en matière d'estimation de vraisemblance sur des jeux de données d'images (2,56 sur CIFAR-10, 3,43/3,69 sur ImageNet-32) sans recourir à la déquantification variationnelle ni à des augmentations de données, et 2,42 sur CIFAR-10 avec augmentations de données. Le code est disponible à l'adresse suivante : \url{https://github.com/thu-ml/i-DODE}.