Zero-Shot-Bildrekonstruktion unter Verwendung des Denoising Diffusion Null-Space-Modells

Die meisten bestehenden Modelle für Bildrekonstruktion (Image Restoration, IR) sind auf spezifische Aufgaben zugeschnitten und lassen sich nicht auf verschiedene Degradationsoperatoren verallgemeinern. In dieser Arbeit stellen wir das Denoising Diffusion Null-Space Model (DDNM) vor, einen neuartigen Zero-Shot-Ansatz für beliebige lineare IR-Aufgaben, darunter beispielsweise Bild-Super-Resolution, Farbgebung, Inpainting, komprimierte Abtastung und Entschärfung. DDNM benötigt lediglich ein vortrainiertes, kommerziell erhältliches Diffusionsmodell als generativen Prior und erfordert weder zusätzliche Trainingsphase noch Änderungen am Netzwerk. Durch die Feinjustierung lediglich des Nullraum-Inhalts im Rückwärtsprozess der Diffusion können vielfältige Ergebnisse erzeugt werden, die sowohl der Datenkonsistenz als auch der Realitätsnähe entsprechen. Wir führen außerdem eine verbesserte und robusteres Modellvariante, DDNM+, ein, die die Wiederherstellung von rauschbehafteten Daten unterstützt und die Rekonstruktionsqualität bei anspruchsvollen Aufgaben steigert. Unsere Experimente an mehreren IR-Aufgaben zeigen, dass DDNM andere aktuelle State-of-the-Art-Methoden im Zero-Shot-Bereich übertrifft. Zudem demonstrieren wir, dass DDNM+ komplexe Anwendungen in der realen Welt lösen kann, beispielsweise die Restaurierung alter Fotografien.