Il faut aller vite lors de la génération de données avec des modèles basés sur un score

Les modèles génératifs basés sur les scores (diffusion par débruitage) ont récemment connu un grand succès dans la génération de données réalistes et diverses. Ces approches définissent un processus de diffusion vers l’arrière pour transformer les données en bruit, puis génèrent des données en inversant ce processus (passant ainsi du bruit vers les données). Malheureusement, les modèles actuels basés sur les scores génèrent des données de manière très lente, en raison du grand nombre d’évaluations du réseau de scores nécessitées par les solveurs numériques d’équations différentielles stochastiques (SDE).Dans ce travail, nous visons à accélérer ce processus en concevant un solveur SDE plus efficace. Les approches existantes reposent sur le solveur d’Euler-Maruyama (EM), qui utilise une taille d’étape fixe. Nous avons constaté que remplacer naïvement ce solveur par d’autres méthodes SDE donne de mauvais résultats : soit les échantillons obtenus sont de qualité médiocre, soit le processus devient plus lent que EM. Pour contourner ce problème, nous avons soigneusement conçu un solveur SDE à pas adaptatifs, spécifiquement adapté aux modèles génératifs basés sur les scores, étape par étape. Notre solveur nécessite uniquement deux évaluations de la fonction de score, rejette très rarement des échantillons, et produit des échantillons de haute qualité. Notre approche génère des données de 2 à 10 fois plus vite qu’EM, tout en atteignant une qualité d’échantillons meilleure ou équivalente. Pour les images à haute résolution, notre méthode produit des échantillons de qualité significativement supérieure à celle de toutes les autres méthodes testées. En outre, notre solveur SDE présente l’avantage de ne nécessiter aucune calibration de la taille du pas.