Posterior-Mean Rektifizierter Fluss: Auf dem Weg zur Bildrestauration mit minimalem MMSE und fotorealistischem Erscheinungsbild

Fotorealistische Bildrestaurationsalgorithmen werden in der Regel durch Verzerrungsmaße (z.B. PSNR, SSIM) und durch wahrnehmungsbasierte Qualitätsmaße (z.B. FID, NIQE) evaluiert, wobei das Ziel darin besteht, die Verzerrung so gering wie möglich zu halten, ohne dabei die wahrnehmungsbezogene Qualität zu beeinträchtigen. Um dieses Ziel zu erreichen, versuchen aktuelle Methoden typischerweise, aus der A-posteriori-Verteilung zu sampeln, oder eine gewichtete Summe aus einem Verzerrungsverlust (z.B. MSE) und einem wahrnehmungsbasierten Qualitätsverlust (z.B. GAN) zu optimieren. Im Gegensatz zu früheren Arbeiten beschäftigt sich dieser Artikel speziell mit dem optimalen Schätzer, der den MSE unter der Bedingung eines perfekten wahrnehmungsbezogenen Index minimiert, d.h., die Verteilung der rekonstruierten Bilder ist identisch mit der Verteilung der Originalbilder (ground-truth images). Ein neuer theoretischer Befund zeigt, dass ein solcher Schätzer durch optimale Transportierung des A-posteriori-Mittelwertvorhersages (MMSE-Schätzung) zur Verteilung der Originalbilder konstruiert werden kann. Inspiriert durch dieses Ergebnis führen wir den Posterior-Mean Rectified Flow (PMRF) ein, einen einfachen aber hoch effektiven Algorithmus, der diesen optimalen Schätzer approximiert. Insbesondere prognostiziert PMRF zunächst den A-posteriori-Mittelwert und transportiert dann das Ergebnis mittels eines korrigierten Flussmodells (rectified flow model), das die gewünschte optimale Transportabbildung approximiert, zu einem hochqualitativen Bild. Wir untersuchen die theoretische Nützlichkeit von PMRF und zeigen, dass es konsistent bessere Ergebnisse als frühere Methoden bei einer Vielzahl von Bildrestaurationsaufgaben erzielt.