HyperAIHyperAI

Command Palette

Search for a command to run...

Pseudo-numerische Methoden für Diffusionsmodelle auf Mannigfaltigkeiten

Luping Liu Yi Ren Zhijie Lin Zhou Zhao

Zusammenfassung

Denoising Diffusion Probabilistic Models (DDPMs) sind in der Lage, hochwertige Proben wie Bilder und Audiodaten zu generieren. Allerdings erfordern DDPMs hunderte bis tausende Iterationen, um endgültige Proben zu erzeugen. Mehrere vorherige Arbeiten haben die Beschleunigung von DDPMs erfolgreich durch Anpassung der Varianz-Schedule (z. B. Improved Denoising Diffusion Probabilistic Models) oder der Entrauschungsgleichung (z. B. Denoising Diffusion Implicit Models (DDIMs)) erreicht. Dennoch können diese Beschleunigungsverfahren die Qualität der Proben nicht aufrechterhalten und führen bei hohen Beschleunigungsraten sogar zu neuem Rauschen, was ihre praktische Anwendbarkeit einschränkt. Um den Inferenzprozess zu beschleunigen, ohne die Probenqualität zu beeinträchtigen, präsentieren wir eine neue Perspektive: DDPMs sollten als Lösung von Differentialgleichungen auf Mannigfaltigkeiten betrachtet werden. Unter dieser Perspektive schlagen wir sogenannte pseudonumerische Methoden für Diffusionsmodelle (PNDMs) vor. Insbesondere klären wir, wie Differentialgleichungen auf Mannigfaltigkeiten gelöst werden können, und zeigen, dass DDIMs spezielle Fälle von pseudonumerischen Methoden darstellen. Wir übertragen mehrere klassische numerische Methoden in entsprechende pseudonumerische Varianten und stellen fest, dass die pseudolineare Mehrschritt-Methode in den meisten Fällen die beste Leistung erbringt. In unseren Experimenten gelingt es, durch direkte Nutzung vortrainierter Modelle auf Cifar10, CelebA und LSUN mit nur 50 Schritten qualitativ hochwertigere synthetische Bilder zu erzeugen als mit 1000-Schritt-DDIMs (20-fache Beschleunigung), deutlich besser als DDIMs mit 250 Schritten (um etwa 0,4 im FID-Wert) und mit guter Generalisierbarkeit auf unterschiedliche Varianz-Schedules. Unsere Implementierung ist unter https://github.com/luping-liu/PNDM verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp