HyperAIHyperAI

Command Palette

Search for a command to run...

Konsistenzmodelle

Yang Song Prafulla Dhariwal Mark Chen Ilya Sutskever

Zusammenfassung

Diffusionsmodelle haben die Bereiche Bild-, Audio- und Videogenerierung erheblich vorangebracht, hängen jedoch aufgrund ihres iterativen Sampling-Prozesses stark von einer langsamen Generierung ab. Um diese Einschränkung zu überwinden, schlagen wir Konsistenzmodelle vor – eine neue Familie von Modellen, die hochwertige Samples direkt durch Abbildung von Rauschen auf Daten erzeugen. Durch ihre Architektur ermöglichen sie bereits eine schnelle Einstep-Generierung, behalten aber gleichzeitig die Möglichkeit multistep-Sampling bei, um Rechenressourcen gegen eine höhere Sample-Qualität einzutauschen. Zudem unterstützen sie zero-shot-Datenbearbeitung, beispielsweise Bild-Inpainting, Colorisierung und Super-Resolution, ohne dass explizite Trainingsaufgaben für diese Aufgaben erforderlich sind. Konsistenzmodelle können entweder durch das Ableiten bereits vortrainierter Diffusionsmodelle oder als eigenständige generative Modelle unabhängig trainiert werden. In umfangreichen Experimenten zeigen wir, dass sie bestehende Ableitungstechniken für Diffusionsmodelle bei Einstep- und Few-step-Sampling übertrifft und einen neuen SOTA-FID-Wert von 3,55 auf CIFAR-10 sowie 6,20 auf ImageNet 64×64 für die Einstep-Generierung erreicht. Wenn isoliert trainiert, entwickeln Konsistenzmodelle sich zu einer neuen Klasse generativer Modelle, die bestehende Einstep- und nicht-antagonistische generative Modelle auf Standardbenchmarks wie CIFAR-10, ImageNet 64×64 und LSUN 256×256 übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Konsistenzmodelle | Paper | HyperAI