Blind-Super-Resolution-Kernschätzung mittels Internal-GAN

Super-Resolution-(SR)-Verfahren gehen typischerweise davon aus, dass das Niedrigauflösungs-(LR)-Bild durch eine feste, „ideale“ Downsampling-Kernfunktion (z. B. Bicubic-Downsampling) aus dem unbekannten Hochauflösungs-(HR)-Bild hervorgegangen ist. In der Realität trifft dies jedoch selten zu, im Gegensatz zu synthetisch generierten SR-Datensätzen. Weicht der angenommene Downsampling-Kern vom tatsächlichen ab, verschlechtert sich die Leistung von SR-Verfahren erheblich. Dies führte zur Entwicklung von Blind-SR, also der Super-Resolution, wenn der Downsampling-Kern („SR-Kern“) unbekannt ist. Es wurde zudem gezeigt, dass der wahre SR-Kern jener ist, der die Rekurrenz von Patchen über verschiedene Skalen des LR-Bildes maximiert. In diesem Artikel zeigen wir, wie diese leistungsfähige Eigenschaft der cross-scale-Rekurrenz mittels Deep Internal Learning realisiert werden kann. Wir führen „KernelGAN“ ein, einen bildspezifischen Internal-GAN, der ausschließlich auf dem LR-Testbild während der Testzeit trainiert wird und dessen interne Patch-Verteilung lernt. Der Generator wird so trainiert, eine heruntergekoppelte Version des LR-Testbildes zu erzeugen, sodass der Discriminator die Patch-Verteilung des heruntergekoppelten Bildes nicht von der des ursprünglichen LR-Bildes unterscheiden kann. Sobald der Generator trainiert ist, repräsentiert er die Downsampling-Operation mit dem korrekten, bildspezifischen SR-Kern. KernelGAN ist vollständig unsupervisiert, benötigt keine zusätzlichen Trainingsdaten außer dem Eingabebild selbst und erreicht bei Integration in bestehende SR-Algorithmen state-of-the-art-Ergebnisse im Bereich des Blind-SR.