Soft Diffusion: Score Matching für allgemeine Störungen

Wir definieren eine breitere Familie von Korruptionsprozessen, die bisher bekannte Diffusionsmodelle verallgemeinert. Um diese allgemeinen Diffusionsprozesse umzukehren, schlagen wir ein neues Ziel, sogenannte Soft Score Matching, vor, das beweisbar die Score-Funktion für beliebige lineare Korruptionsprozesse lernt und auf CelebA Ergebnisse auf State-of-the-Art-Niveau erzielt. Soft Score Matching integriert den Degradationsprozess direkt in das Netzwerk. Unser neues Verlustfunktional trainiert das Modell dazu, ein sauberes Bild vorherzusagen, das nach Anwendung der Korruption mit der diffusen Beobachtung übereinstimmt. Wir zeigen, dass unsere Zielsetzung unter geeigneten Regularitätsbedingungen den Gradienten der Likelihood für eine Familie von Korruptionsprozessen lernt. Darüber hinaus entwickeln wir eine konsistente Methode zur Auswahl der Korruptionsstufen für allgemeine Diffusionsprozesse sowie eine neuartige Sampling-Methode, die wir Momentum Sampler nennen. Experimentell zeigen wir, dass unser Framework für allgemeine lineare Korruptionsprozesse wie Gaußscher Blur und Maskierung funktioniert. Auf CelebA-64 erreichen wir einen FID-Score von 1,85, der alle vorherigen linearen Diffusionsmodelle schlägt. Zudem weisen wir erhebliche rechnerische Vorteile gegenüber herkömmlichen Denoising-Diffusionsmodellen nach.