HyperAIHyperAI

Command Palette

Search for a command to run...

Score Identity Distillation : Distillation exponentielle de modèles de diffusion préentraînés pour une génération en une seule étape

Mingyuan Zhou Huangjie Zheng Zhendong Wang Mingzhang Yin Hai Huang

Résumé

Nous introduisons Score Identity Distillation (SiD), une méthode innovante et sans données qui transfère les capacités génératives des modèles de diffusion préentraînés vers un générateur à une seule étape. SiD permet non seulement une réduction exponentielle de la distance Fréchet inception (FID) durant le processus de distillation, mais atteint ou dépasse même les performances FID des modèles enseignants de diffusion d'origine. En reformulant les processus de diffusion vers l’avant sous la forme de distributions semi-implicites, nous exploitons trois identités liées aux scores pour concevoir un mécanisme de perte innovant. Ce mécanisme permet une réduction rapide de la FID en entraînant le générateur à l’aide d’images synthétisées par lui-même, sans nécessiter de données réelles ni de génération basée sur la diffusion inverse, tout en réduisant considérablement le temps de génération. Évaluée sur quatre jeux de données standard, l’algorithme SiD démontre une haute efficacité itérative durant la distillation et surpasser les approches concurrentes de distillation — qu’elles soient à une étape ou à quelques étapes, sans données ou dépendantes de données d’entraînement — en termes de qualité de génération. Ce résultat redéfinit non seulement les repères en matière d’efficacité et d’efficacité dans la distillation de modèles de diffusion, mais aussi dans le domaine plus large de la génération basée sur les modèles de diffusion. Une implémentation en PyTorch est disponible à l’adresse suivante : https://github.com/mingyuanzhou/SiD


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp