Shangyuan Tong Nanye Ma Saining Xie Tommi Jaakkola

Abstract
Zustandsbeste Flussmodelle erreichen bemerkenswerte Qualität, erfordern jedoch langsames, iteratives Sampling. Um diesen Prozess zu beschleunigen, können Flussabbildungen aus vortrainierten Lehrmodellen abgeleitet („distilliert“) werden – ein Verfahren, das herkömmlicherweise eine Stichprobenziehung aus einem externen Datensatz erfordert. Wir argumentieren, dass diese Datengrundlage ein grundlegendes Risiko der Lehrer-Daten-Mismatch-Abweichung birgt, da ein statischer Datensatz eine unvollständige oder sogar fehlerhafte Repräsentation der gesamten generativen Fähigkeiten des Lehrmodells liefern kann. Dies wirft die Frage auf, ob diese Abhängigkeit von Daten tatsächlich notwendig ist, um eine erfolgreiche Flussabbildungs-Distillation zu erreichen. In dieser Arbeit untersuchen wir eine datenfreie Alternative, die ausschließlich aus der Priorverteilung samplet – einer Verteilung, der das Lehrmodell per Konstruktion folgt, wodurch das Risiko einer Abweichung vollständig umgangen wird. Um die praktische Umsetzbarkeit dieser Philosophie zu demonstrieren, stellen wir einen konsistenten Rahmen vor, der lernt, den Sampling-Pfad des Lehrmodells vorherzusagen, während er gleichzeitig seine eigenen sich akkumulierenden Fehler aktiv korrigiert, um eine hohe Treue zu gewährleisten. Unser Ansatz übertrifft alle datenbasierten Verfahren deutlich und etabliert eine neue state-of-the-art-Leistung. Insbesondere erreicht unsere Methode bei der Distillation aus SiT-XL/2+REPA einen beeindruckenden FID-Wert von 1,45 auf ImageNet 256×256 und 1,49 auf ImageNet 512×512, jeweils mit nur einem Sampling-Schritt. Wir hoffen, dass unsere Arbeit einen robusteren Ansatz zur Beschleunigung generativer Modelle etabliert und die breitere Anwendung der datenfreien Flussabbildungs-Distillation fördert.
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.