Score-Identität-Distillation: Exponentiell schnelle Distillation vorgebildeter Diffusionsmodelle für die Generierung in einem Schritt

Wir stellen Score Identity Distillation (SiD) vor, eine innovative datenfreie Methode, die die generativen Fähigkeiten vortrainierter Diffusionsmodelle in einen Ein-Schritt-Generator überträgt. SiD ermöglicht nicht nur eine exponentiell schnelle Reduktion des Fréchet Inception Distance (FID) während des Distillation-Prozesses, sondern erreicht zudem oder übertrifft sogar die FID-Leistung der ursprünglichen Lehrer-Diffusionsmodelle. Durch die Umformulierung der Vorwärts-Diffusionsprozesse als semi-implizite Verteilungen nutzen wir drei score-basierte Identitäten, um eine innovative Verlustfunktion zu konstruieren. Diese Mechanik erzielt eine schnelle FID-Reduktion, indem der Generator mit eigenen synthetisierten Bildern trainiert wird, wodurch der Einsatz realer Daten oder generationbasierte Rückwärts-Diffusion entfällt – alles innerhalb erheblich verkürzter Generierungszeiten. In der Bewertung an vier Benchmark-Datensätzen zeigt der SiD-Algorithmus eine hohe Iterationseffizienz während des Distillation-Prozesses und übertrifft sowohl einstufige als auch mehrstufige, datenfreie als auch datenabhängige Konkurrenzverfahren hinsichtlich der Generierungsqualität. Diese Leistung redefiniert nicht nur die Benchmarks für Effizienz und Wirksamkeit im Bereich der Diffusions-Distillation, sondern auch im weiteren Kontext der auf Diffusion basierenden Generierung. Die PyTorch-Implementierung ist unter https://github.com/mingyuanzhou/SiD verfügbar.