Neuronale Diffusionsmodelle

Diffusionsmodelle haben bei zahlreichen generativen Aufgaben beachtliche Leistungen erzielt. Trotz der jüngsten Erfolge sind die meisten Diffusionsmodelle dadurch eingeschränkt, dass sie lediglich lineare Transformationen der Datenverteilung zulassen. Im Gegensatz dazu könnten allgemeinere Familien von Transformationen die effizientere Schätzung generativer Verteilungen ermöglichen, den Rückwärtspfad vereinfachen und die Lücke zwischen der wahren negativen Log-Wahrscheinlichkeit und der variationalen Approximation schließen. In diesem Paper stellen wir Neural Diffusion Models (NDMs) vor, eine Verallgemeinerung herkömmlicher Diffusionsmodelle, die die Definition und das Lernen zeitabhängiger nichtlinearer Transformationen von Daten erlaubt. Wir zeigen, wie NDMs in einem simulationsfreien Setting mittels einer variationalen Schranke optimiert werden können. Darüber hinaus leiten wir eine zeitkontinuierliche Formulierung von NDMs ab, die eine schnelle und zuverlässige Inferenz mittels kommerziell erhältlicher numerischer ODE- und SDE-Löser ermöglicht. Schließlich demonstrieren wir die Nützlichkeit von NDMs mit lernbaren Transformationen anhand von Experimenten auf Standardbenchmarks für Bildgenerierung, darunter CIFAR-10, abgetastete Versionen von ImageNet sowie CelebA-HQ. NDMs überzeugen bei der Log-Wahrscheinlichkeit und erzeugen hochwertige Proben, wodurch sie herkömmliche Diffusionsmodelle übertrifft.