HyperAIHyperAI

Command Palette

Search for a command to run...

Posterior-Mean Rektifizierter Fluss: Auf dem Weg zur Bildrestauration mit minimalem MMSE und fotorealistischem Erscheinungsbild

Guy Ohayon Tomer Michaeli Michael Elad

Zusammenfassung

Fotorealistische Bildrestaurationsalgorithmen werden in der Regel durch Verzerrungsmaße (z.B. PSNR, SSIM) und durch wahrnehmungsbasierte Qualitätsmaße (z.B. FID, NIQE) evaluiert, wobei das Ziel darin besteht, die Verzerrung so gering wie möglich zu halten, ohne dabei die wahrnehmungsbezogene Qualität zu beeinträchtigen. Um dieses Ziel zu erreichen, versuchen aktuelle Methoden typischerweise, aus der A-posteriori-Verteilung zu sampeln, oder eine gewichtete Summe aus einem Verzerrungsverlust (z.B. MSE) und einem wahrnehmungsbasierten Qualitätsverlust (z.B. GAN) zu optimieren. Im Gegensatz zu früheren Arbeiten beschäftigt sich dieser Artikel speziell mit dem optimalen Schätzer, der den MSE unter der Bedingung eines perfekten wahrnehmungsbezogenen Index minimiert, d.h., die Verteilung der rekonstruierten Bilder ist identisch mit der Verteilung der Originalbilder (ground-truth images). Ein neuer theoretischer Befund zeigt, dass ein solcher Schätzer durch optimale Transportierung des A-posteriori-Mittelwertvorhersages (MMSE-Schätzung) zur Verteilung der Originalbilder konstruiert werden kann. Inspiriert durch dieses Ergebnis führen wir den Posterior-Mean Rectified Flow (PMRF) ein, einen einfachen aber hoch effektiven Algorithmus, der diesen optimalen Schätzer approximiert. Insbesondere prognostiziert PMRF zunächst den A-posteriori-Mittelwert und transportiert dann das Ergebnis mittels eines korrigierten Flussmodells (rectified flow model), das die gewünschte optimale Transportabbildung approximiert, zu einem hochqualitativen Bild. Wir untersuchen die theoretische Nützlichkeit von PMRF und zeigen, dass es konsistent bessere Ergebnisse als frühere Methoden bei einer Vielzahl von Bildrestaurationsaufgaben erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp