HyperAIHyperAI

Command Palette

Search for a command to run...

Score-basierte generative Modellierung mittels stochastischen Differentialgleichungen

Yang Song Jascha Sohl-Dickstein Diederik P. Kingma Abhishek Kumar Stefano Ermon Ben Poole

Zusammenfassung

Die Erzeugung von Rauschen aus Daten ist einfach; die Erzeugung von Daten aus Rauschen dagegen ist generatives Modellieren. Wir stellen eine stochastische Differentialgleichung (SDE) vor, die eine komplexe Datenverteilung durch schrittweise Rauscheinbringung kontinuierlich in eine bekannte Prior-Verteilung überführt, sowie eine entsprechende Rückwärtszeit-SDE, die die Prior-Verteilung durch schrittweises Entfernen des Rauschens wieder in die Datenverteilung transformiert. Entscheidend ist, dass die Rückwärtszeit-SDE lediglich von dem zeitabhängigen Gradientenfeld (auch Score genannt) der gestörten Datenverteilung abhängt. Durch die Nutzung neuer Fortschritte im score-basierten generativen Modellieren können wir diese Scores präzise mit neuronalen Netzwerken schätzen und numerische SDE-Löser einsetzen, um Stichproben zu generieren. Wir zeigen, dass dieses Framework frühere Ansätze im score-basierten generativen Modellieren sowie Diffusions-wahrscheinlichkeitstheoretische Modelle umfasst und somit neue Sampling-Verfahren sowie erweiterte Modellierungsfähigkeiten ermöglicht. Insbesondere führen wir einen Predictor-Corrector-Ansatz ein, um Fehler in der diskretisierten Evolution der Rückwärtszeit-SDE zu korrigieren. Außerdem leiten wir eine äquivalente neuronale ODE ab, die dieselbe Verteilung wie die SDE sampelt, zusätzlich jedoch exakte Likelihood-Berechnungen und eine verbesserte Sampling-Effizienz ermöglicht. Darüber hinaus präsentieren wir eine neue Methode zur Lösung inverser Probleme mit score-basierten Modellen, wie anhand von Experimenten zur klassenbedingten Generierung, Bild-Inpainting und Farbgebung demonstriert wird. In Kombination mit mehreren architektonischen Verbesserungen erreichen wir auf CIFAR-10 rekordverdächtige Ergebnisse bei der unbedingten Bildgenerierung mit einem Inception-Score von 9,89 und einem FID von 2,20, einer konkurrenzfähigen Likelihood von 2,99 Bit/Dimension sowie erstmals die Generierung von Bildern der Auflösung 1024 × 1024 aus einem score-basierten generativen Modell.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp