Kontinuierliche Zeit funktionale Diffusionsprozesse

Wir führen Funktionsdiffusionsprozesse (Functional Diffusion Processes, FDPs) ein, die scorebasierte Diffusionsmodelle auf unendlichdimensionale Funktionsräume verallgemeinern. FDPs erfordern einen neuen mathematischen Rahmen zur Beschreibung der Vorwärts- und Rückwärtsdynamik sowie mehrere Erweiterungen, um praktikable Trainingsziele abzuleiten. Dazu gehören unendlichdimensionale Versionen des Girsanov-Theorems, um eine ELBO (Evidence Lower Bound) berechnen zu können, sowie eine Erweiterung des Abtasttheorems, um sicherzustellen, dass Funktionsauswertungen an einer abzählbaren Menge von Punkten äquivalent zu unendlichdimensionalen Funktionen sind. Mit FDPs entwickeln wir eine neue Generation generativer Modelle in Funktionsräumen, die keine spezialisierten Netzarchitekturen erfordern und mit jeder Art kontinuierlicher Daten arbeiten können. Unsere Ergebnisse auf realen Daten zeigen, dass FDPs hochwertige Bildgenerierung ermöglichen, wobei lediglich eine einfache MLP-Architektur mit um Größenordnungen weniger Parametern als bestehende Diffusionsmodelle verwendet wird.