Geschnittene Diffusions-wahrscheinliche Modelle und Diffusionsbasierte adversarische Auto-Encoder

Durch die Verwendung einer vorwärts gerichteten Diffusionskette wird die Datenverteilung schrittweise in eine Rauschverteilung abgebildet. Diffusionsbasierte generative Modelle lernen, die Daten zu erzeugen, indem sie eine rückwärts gerichtete Diffusionskette inferieren. Dieser Ansatz ist jedoch langsam und kostenintensiv, da er viele vorwärts- und rückwärtsgerichtete Schritte erfordert. Wir schlagen einen schnelleren und kostengünstigeren Ansatz vor, bei dem Rauschen nicht erst dann hinzugefügt wird, wenn die Daten reiner Zufallsrausch sind, sondern bereits früher, sobald sie einer versteckten, verrauschten Datenverteilung entsprechen, die wir zuverlässig lernen können. Anschließend verwenden wir weniger rückwärtsgerichtete Schritte, um Daten zu erzeugen, indem wir von dieser versteckten Verteilung ausgehen, die der verrauschten Datenverteilung ähneln soll. Wir zeigen, dass das vorgeschlagene Modell als ein adversarialer Autoencoder interpretiert werden kann, der sowohl durch den Diffusionsprozess als auch durch einen lernbaren impliziten Prior gestärkt wird. Experimentelle Ergebnisse zeigen, dass selbst mit einer deutlich geringeren Anzahl rückwärtsgerichteter Diffusionsschritte die vorgeschlagenen abgeschnittenen Diffusionswahrscheinlichkeitsmodelle sowohl bei der bedingungslosen als auch bei der textgesteuerten Bildgenerierung konsistente Leistungsverbesserungen gegenüber den nicht abgeschnittenen Modellen erzielen.