HyperAIHyperAI

Command Palette

Search for a command to run...

Bayesianische Bildrekonstruktion unter Verwendung tiefer generativer Modelle

Razvan V Marinescu Daniel Moyer Polina Golland

Zusammenfassung

Maschinelles Lernen wird üblicherweise end-to-end und im überwachten Setting anhand gepaarter (Eingabe, Ausgabe)-Daten trainiert. Beispiele hierfür sind jüngere Super-Resolution-Methoden, die an Paaren von (niedriger Auflösung, hoher Auflösung) erstellten Bildern trainieren. Diese end-to-end-Ansätze erfordern jedoch jedes Mal ein Neutrainieren, wenn sich die Eingabeverteilung ändert (z. B. Nachtaufnahmen im Vergleich zu Tageslichtaufnahmen) oder relevante latente Variablen variieren (z. B. Kamerabrennweite oder Handbewegung). In dieser Arbeit nutzen wir state-of-the-art (SOTA) generative Modelle (hier: StyleGAN2), um leistungsstarke Bildprioritäten zu konstruieren, die die Anwendung des Bayes-Theorems für zahlreiche nachgeschaltete Rekonstruktionsaufgaben ermöglichen. Unser Ansatz, Bayesian Reconstruction through Generative Models (BRGM), verwendet ein einziges vortrainiertes Generatormodell, um verschiedene Aufgaben der Bildrekonstruktion – wie Super-Resolution und In-Painting – zu lösen, indem es mit unterschiedlichen Vorwärtsverzerrungsmodellen kombiniert wird. Die Gewichte des Generatormodells bleiben dabei fixiert, und die Rekonstruktion erfolgt durch Schätzung des bayesschen Maximum-a-Posteriori-(MAP)-Schätzers für den Eingabekodiervektor, der das rekonstruierte Bild erzeugt hat. Darüber hinaus verwenden wir variational inference, um die Posterior-Verteilung über den latenten Vektoren zu approximieren, aus der wir mehrere Lösungen ableiten können. Wir evaluieren BRGM an drei großen und vielfältigen Datensätzen: (i) 60.000 Bilder aus dem Flick Faces High Quality-Datensatz, (ii) 240.000 Thorax-Röntgenaufnahmen aus MIMIC-III und (iii) eine kombinierte Sammlung von fünf Gehirn-MRI-Datensätzen mit insgesamt 7.329 Scans. Unser einfacher Ansatz erzielt auf allen drei Datensätzen ohne jegliche datenspezifische Hyperparameteranpassung Leistungen, die mit den aktuellen task-spezifischen State-of-the-Art-Methoden für Super-Resolution und In-Painting konkurrieren, wobei er zudem allgemeiner anwendbar ist und keinerlei Training erfordert. Der Quellcode und die vortrainierten Modelle sind online verfügbar unter: https://razvanmarinescu.github.io/brgm/.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Bayesianische Bildrekonstruktion unter Verwendung tiefer generativer Modelle | Paper | HyperAI