PFGM++ : Déverrouiller le Potentiel des Modèles Génératifs Inspirés par la Physique

Nous présentons une nouvelle famille de modèles génératifs inspirés par la physique, dénommée PFGM++, qui unifie les modèles de diffusion et les modèles génératifs de flux de Poisson (PFGM). Ces modèles réalisent des trajectoires génératives pour des données à $N$ dimensions en plongeant des chemins dans un espace à $N{+}D$ dimensions tout en contrôlant le progrès avec une norme scalaire simple des $D$ variables supplémentaires. Les nouveaux modèles se réduisent au PFGM lorsque $D{=}1$ et aux modèles de diffusion lorsque $D{\to}\infty$. La flexibilité du choix de $D$ nous permet d'équilibrer la robustesse contre la rigidité, car l'augmentation de $D$ entraîne une couplage plus concentré entre les données et les normes des variables supplémentaires. Nous abandonnons les cibles de champ par grands lots biaisées utilisées dans le PFGM et proposons plutôt un objectif basé sur des perturbations non biaisées similaire aux modèles de diffusion. Pour explorer différentes valeurs de $D$, nous fournissons une méthode d'alignement direct pour transférer des hyperparamètres bien ajustés des modèles de diffusion ($D{\to} \infty$) vers toute valeur finie de $D$. Nos expériences montrent que les modèles avec un $D$ fini peuvent surpasser les précédents modèles de diffusion d'avant-garde sur les jeux de données CIFAR-10/FFHQ $64{\times}64$, avec des scores FID (Fréchet Inception Distance) de $1.91/2.43$ lorsque $D{=}2048/128$. Dans le cadre conditionnel par classe, $D{=}2048$ offre le meilleur score FID actuel de $1.74$ sur CIFAR-10. De plus, nous démontrons que les modèles avec un petit $D$ présentent une meilleure robustesse face aux erreurs de modèle. Le code est disponible à l'adresse https://github.com/Newbeeer/pfgmpp.