Score-basierte generative Modellierung mittels stochastischen Differentialgleichungen

Die Erzeugung von Rauschen aus Daten ist einfach; die Erzeugung von Daten aus Rauschen dagegen ist generatives Modellieren. Wir stellen eine stochastische Differentialgleichung (SDE) vor, die eine komplexe Datenverteilung durch schrittweise Rauscheinbringung kontinuierlich in eine bekannte Prior-Verteilung überführt, sowie eine entsprechende Rückwärtszeit-SDE, die die Prior-Verteilung durch schrittweises Entfernen des Rauschens wieder in die Datenverteilung transformiert. Entscheidend ist, dass die Rückwärtszeit-SDE lediglich von dem zeitabhängigen Gradientenfeld (auch Score genannt) der gestörten Datenverteilung abhängt. Durch die Nutzung neuer Fortschritte im score-basierten generativen Modellieren können wir diese Scores präzise mit neuronalen Netzwerken schätzen und numerische SDE-Löser einsetzen, um Stichproben zu generieren. Wir zeigen, dass dieses Framework frühere Ansätze im score-basierten generativen Modellieren sowie Diffusions-wahrscheinlichkeitstheoretische Modelle umfasst und somit neue Sampling-Verfahren sowie erweiterte Modellierungsfähigkeiten ermöglicht. Insbesondere führen wir einen Predictor-Corrector-Ansatz ein, um Fehler in der diskretisierten Evolution der Rückwärtszeit-SDE zu korrigieren. Außerdem leiten wir eine äquivalente neuronale ODE ab, die dieselbe Verteilung wie die SDE sampelt, zusätzlich jedoch exakte Likelihood-Berechnungen und eine verbesserte Sampling-Effizienz ermöglicht. Darüber hinaus präsentieren wir eine neue Methode zur Lösung inverser Probleme mit score-basierten Modellen, wie anhand von Experimenten zur klassenbedingten Generierung, Bild-Inpainting und Farbgebung demonstriert wird. In Kombination mit mehreren architektonischen Verbesserungen erreichen wir auf CIFAR-10 rekordverdächtige Ergebnisse bei der unbedingten Bildgenerierung mit einem Inception-Score von 9,89 und einem FID von 2,20, einer konkurrenzfähigen Likelihood von 2,99 Bit/Dimension sowie erstmals die Generierung von Bildern der Auflösung 1024 × 1024 aus einem score-basierten generativen Modell.