Bayesianische Bildrekonstruktion unter Verwendung tiefer generativer Modelle

Maschinelles Lernen wird üblicherweise end-to-end und im überwachten Setting anhand gepaarter (Eingabe, Ausgabe)-Daten trainiert. Beispiele hierfür sind jüngere Super-Resolution-Methoden, die an Paaren von (niedriger Auflösung, hoher Auflösung) erstellten Bildern trainieren. Diese end-to-end-Ansätze erfordern jedoch jedes Mal ein Neutrainieren, wenn sich die Eingabeverteilung ändert (z. B. Nachtaufnahmen im Vergleich zu Tageslichtaufnahmen) oder relevante latente Variablen variieren (z. B. Kamerabrennweite oder Handbewegung). In dieser Arbeit nutzen wir state-of-the-art (SOTA) generative Modelle (hier: StyleGAN2), um leistungsstarke Bildprioritäten zu konstruieren, die die Anwendung des Bayes-Theorems für zahlreiche nachgeschaltete Rekonstruktionsaufgaben ermöglichen. Unser Ansatz, Bayesian Reconstruction through Generative Models (BRGM), verwendet ein einziges vortrainiertes Generatormodell, um verschiedene Aufgaben der Bildrekonstruktion – wie Super-Resolution und In-Painting – zu lösen, indem es mit unterschiedlichen Vorwärtsverzerrungsmodellen kombiniert wird. Die Gewichte des Generatormodells bleiben dabei fixiert, und die Rekonstruktion erfolgt durch Schätzung des bayesschen Maximum-a-Posteriori-(MAP)-Schätzers für den Eingabekodiervektor, der das rekonstruierte Bild erzeugt hat. Darüber hinaus verwenden wir variational inference, um die Posterior-Verteilung über den latenten Vektoren zu approximieren, aus der wir mehrere Lösungen ableiten können. Wir evaluieren BRGM an drei großen und vielfältigen Datensätzen: (i) 60.000 Bilder aus dem Flick Faces High Quality-Datensatz, (ii) 240.000 Thorax-Röntgenaufnahmen aus MIMIC-III und (iii) eine kombinierte Sammlung von fünf Gehirn-MRI-Datensätzen mit insgesamt 7.329 Scans. Unser einfacher Ansatz erzielt auf allen drei Datensätzen ohne jegliche datenspezifische Hyperparameteranpassung Leistungen, die mit den aktuellen task-spezifischen State-of-the-Art-Methoden für Super-Resolution und In-Painting konkurrieren, wobei er zudem allgemeiner anwendbar ist und keinerlei Training erfordert. Der Quellcode und die vortrainierten Modelle sind online verfügbar unter: https://razvanmarinescu.github.io/brgm/.