Pixel-Level Kernel Estimation for Blind Super-Resolution

In den vergangenen Jahren haben tiefen Lern-basierte Modelle in der Super-Resolution (SR) erhebliche Erfolge erzielt. Die meisten dieser Arbeiten gehen davon aus, dass niedrigauflösende (LR) Bilder „uniform“ aus ihren entsprechenden hochauflösenden (HR) Bildern mittels vordefinierter Blur-Kerne entstehen – wobei alle Bildbereiche einem identischen Degradationsprozess unterworfen sind. Aufgrund dieser Annahme wurden zudem Versuche unternommen, den Blur-Kern eines gegebenen LR-Bildes zu schätzen, da korrekte Kernel-Priorisierungen als hilfreich für die Super-Resolution bekannt sind. Obwohl bekannt ist, dass die Blur-Kerne realer Bilder nicht uniform sind (räumlich variierend), erfolgt die derzeitige Kernel-Schätzung überwiegend auf Bild-Ebene, d. h. es wird pro Bild nur ein einziger Kernel geschätzt. Diese Ansätze sind zwangsläufig suboptimal, wenn Bilder nichtuniform degradiert sind. Eine divide-and-conquer-Strategie, bei der ein Bild in mehrere Patchs aufgeteilt und für jeden Patch separat der Kernel geschätzt sowie die SR durchgeführt wird, erscheint zunächst als einfache Lösung. Praktisch jedoch scheitert dieser Ansatz. In dieser Arbeit behandeln wir dieses Problem durch eine pixelgenaue Kernel-Schätzung. Die drei zentralen Komponenten zur Schulung eines SR-Frameworks basierend auf pixelgenauer Kernel-Schätzung sind: Kernel Collage – eine Methode zur Synthese von nichtuniform degradierten LR-Bildern, die die Kohärenz der Kerne in benachbarten Regionen berücksichtigt, während sie gleichzeitig abrupt wechseln können; der indirekte Verlust – ein neuartiger Verlustfunktion für die Schulung des Kernel-Schätzers, basierend auf dem Rekonstruktionsverlust; sowie eine zusätzliche Optimierung – ein Verfahren, das das SR-Netzwerk robuster gegenüber geringfügigen Fehlern bei der Kernel-Schätzung macht. Umfangreiche Experimente belegen die Überlegenheit der pixelgenauen Kernel-Schätzung in der blinden Super-Resolution und zeigen, dass die vorgestellte Methode sowohl quantitativ als auch qualitativ gegenüber aktuellen State-of-the-Art-Verfahren übertrifft.