HyperAIHyperAI

Command Palette

Search for a command to run...

Zero-Shot-Bildrekonstruktion unter Verwendung des Denoising Diffusion Null-Space-Modells

Yinhuai Wang Jiwen Yu Jian Zhang

Zusammenfassung

Die meisten bestehenden Modelle für Bildrekonstruktion (Image Restoration, IR) sind auf spezifische Aufgaben zugeschnitten und lassen sich nicht auf verschiedene Degradationsoperatoren verallgemeinern. In dieser Arbeit stellen wir das Denoising Diffusion Null-Space Model (DDNM) vor, einen neuartigen Zero-Shot-Ansatz für beliebige lineare IR-Aufgaben, darunter beispielsweise Bild-Super-Resolution, Farbgebung, Inpainting, komprimierte Abtastung und Entschärfung. DDNM benötigt lediglich ein vortrainiertes, kommerziell erhältliches Diffusionsmodell als generativen Prior und erfordert weder zusätzliche Trainingsphase noch Änderungen am Netzwerk. Durch die Feinjustierung lediglich des Nullraum-Inhalts im Rückwärtsprozess der Diffusion können vielfältige Ergebnisse erzeugt werden, die sowohl der Datenkonsistenz als auch der Realitätsnähe entsprechen. Wir führen außerdem eine verbesserte und robusteres Modellvariante, DDNM+, ein, die die Wiederherstellung von rauschbehafteten Daten unterstützt und die Rekonstruktionsqualität bei anspruchsvollen Aufgaben steigert. Unsere Experimente an mehreren IR-Aufgaben zeigen, dass DDNM andere aktuelle State-of-the-Art-Methoden im Zero-Shot-Bereich übertrifft. Zudem demonstrieren wir, dass DDNM+ komplexe Anwendungen in der realen Welt lösen kann, beispielsweise die Restaurierung alter Fotografien.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp