Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces

Typische generative Diffusionsmodelle stützen sich bei der Schätzung der Rückwärtstransformationen auf einen Gauss’schen Diffusionsprozess, der anschließend zur Generierung von Samples aus Gauss’schem Rauschen verwendet werden kann. In der Praxis treten jedoch viele Datensätze in diskreten Zustandsräumen auf, was insbesondere in zahlreichen wissenschaftlichen Anwendungen der Fall ist. In diesem Beitrag entwickeln wir eine theoretische Formulierung für beliebige diskrete Zustands-Markov-Prozesse im Vorwärtsdiffusionsprozess unter Verwendung einer exakten (im Gegensatz zu variationalen) Analyse. Wir verknüpfen die Theorie mit dem etablierten kontinuierlichen Gauss’schen Diffusionsansatz sowie anderen Ansätzen zur diskreten Diffusion und identifizieren sowohl im kontinuierlichen Zeitrahmen den entsprechenden rückwärtsgerichteten stochastischen Prozess und die Score-Funktion als auch im diskreten Zeitrahmen die rückwärtsgerichtete Abbildung. Als Beispiel für dieses Rahmenwerk führen wir „Blackout Diffusion“ ein, ein Ansatz, der lernt, Samples aus einem leeren Bild statt aus Rauschen zu erzeugen. Numerische Experimente an den Datensätzen CIFAR-10, Binarized MNIST und CelebA bestätigen die Durchführbarkeit unseres Ansatzes. Die Verallgemeinerung von spezifischen (Gauss’schen) Vorwärtsprozessen auf diskrete Zustandsräume ohne Verwendung einer variationalen Approximation eröffnet neue Perspektiven zur Interpretation von Diffusionsmodellen, die wir abschließend diskutieren.