HyperAIHyperAI

Command Palette

Search for a command to run...

Score-Identität-Distillation: Exponentiell schnelle Distillation vorgebildeter Diffusionsmodelle für die Generierung in einem Schritt

Mingyuan Zhou Huangjie Zheng Zhendong Wang Mingzhang Yin Hai Huang

Zusammenfassung

Wir stellen Score Identity Distillation (SiD) vor, eine innovative datenfreie Methode, die die generativen Fähigkeiten vortrainierter Diffusionsmodelle in einen Ein-Schritt-Generator überträgt. SiD ermöglicht nicht nur eine exponentiell schnelle Reduktion des Fréchet Inception Distance (FID) während des Distillation-Prozesses, sondern erreicht zudem oder übertrifft sogar die FID-Leistung der ursprünglichen Lehrer-Diffusionsmodelle. Durch die Umformulierung der Vorwärts-Diffusionsprozesse als semi-implizite Verteilungen nutzen wir drei score-basierte Identitäten, um eine innovative Verlustfunktion zu konstruieren. Diese Mechanik erzielt eine schnelle FID-Reduktion, indem der Generator mit eigenen synthetisierten Bildern trainiert wird, wodurch der Einsatz realer Daten oder generationbasierte Rückwärts-Diffusion entfällt – alles innerhalb erheblich verkürzter Generierungszeiten. In der Bewertung an vier Benchmark-Datensätzen zeigt der SiD-Algorithmus eine hohe Iterationseffizienz während des Distillation-Prozesses und übertrifft sowohl einstufige als auch mehrstufige, datenfreie als auch datenabhängige Konkurrenzverfahren hinsichtlich der Generierungsqualität. Diese Leistung redefiniert nicht nur die Benchmarks für Effizienz und Wirksamkeit im Bereich der Diffusions-Distillation, sondern auch im weiteren Kontext der auf Diffusion basierenden Generierung. Die PyTorch-Implementierung ist unter https://github.com/mingyuanzhou/SiD verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Score-Identität-Distillation: Exponentiell schnelle Distillation vorgebildeter Diffusionsmodelle für die Generierung in einem Schritt | Paper | HyperAI