Resfusion: Denoising Diffusion Probabilistische Modelle für Bildrestauration basierend auf a priori Residualem Rauschen

Kürzlich hat sich die Forschung zu Denoising-Diffusionsmodellen auf das Gebiet der Bildrestauration ausgeweitet. Traditionelle diffusionsbasierte Methoden zur Bildrestauration nutzen verschlechterte Bilder als bedingte Eingabe, um den Rückwärts-Generierungsprozess effektiv zu steuern, ohne den ursprünglichen Denoising-Diffusion-Prozess zu modifizieren. Allerdings enthalten die verschlechterten Bilder bereits Niederfrequenzinformationen, sodass das Starten vom Gaußschen Weißrauschen zu einer Erhöhung der Sampling-Schritte führt. Wir schlagen Resfusion vor, ein allgemeines Framework, das den Residualterm in den Diffusionsvorwärtsprozess integriert und den Rückwärtsprozess direkt von den rauschigen verschlechterten Bildern startet. Die Form unseres Inferenzprozesses ist konsistent mit dem DDPM (Denoising Diffusion Probabilistic Model). Wir haben ein gewichtetes Residualrauschen eingeführt, genannt resnoise, als Vorhersageziel und geben die quantitative Beziehung zwischen dem Residualterm und dem Rauschterm in resnoise explizit an. Durch die Nutzung einer glatten Äquivalenztransformation bestimmt Resfusion den optimalen Beschleunigungsschritt und behält die Integrität vorhandener Rauschverteilungen bei, was Prozesse des Trainings und der Inferenz vereint. Die experimentellen Ergebnisse zeigen, dass Resfusion mit nur fünf Sampling-Schritten wettbewerbsfähige Leistungen auf den Datensätzen ISTD (Image Shadow and Reflection Removal Dataset), LOL (Low-Light Image Enhancement Dataset) und Raindrop aufweist. Darüber hinaus kann Resfusion leicht auf Bildgenerierung angewendet werden und zeichnet sich durch starke Vielseitigkeit aus. Unser Code und Modell sind unter https://github.com/nkicsl/Resfusion verfügbar.