Die Entfaltung der alternierenden Optimierung für die blinde Super-Resolution

Frühere Methoden zerlegen das Problem der blinden Super-Resolution (SR) in zwei sequentielle Schritte: \textit{i}) die Schätzung des Blur-Kernels aus dem gegebenen niedrigen Auflösungsbild (LR) und \textit{ii}) die Wiederherstellung des SR-Bildes basierend auf dem geschätzten Kernel. Diese zweistufige Lösung beinhaltet zwei unabhängig trainierte Modelle, die möglicherweise nicht gut miteinander vereinbar sind. Ein kleiner Schätzfehler im ersten Schritt kann zu einem erheblichen Leistungsverlust im zweiten Schritt führen. Andererseits kann der erste Schritt nur begrenzte Informationen aus dem LR-Bild nutzen, was es schwierig macht, einen hochgenauen Blur-Kernel vorherzusagen.Um diese Probleme anzugehen, betrachten wir diese beiden Schritte nicht getrennt, sondern verwenden einen alternierenden Optimierungsalgorithmus, der den Blur-Kernel und das SR-Bild in einem einzigen Modell schätzen und wiederherstellen kann. Speziell haben wir zwei konvolutive neuronale Module entworfen, nämlich \textit{Restorer} und \textit{Estimator}. Das \textit{Restorer}-Modul stellt das SR-Bild basierend auf dem vorhergesagten Kernel wieder her, während das \textit{Estimator}-Modul den Blur-Kernel unter Verwendung des wiederhergestellten SR-Bildes schätzt. Wir wechseln zwischen diesen beiden Modulen wiederholt und entfalten diesen Prozess, um ein von Anfang bis Ende trainierbares Netzwerk zu bilden. Auf diese Weise nutzt das \textit{Estimator}-Modul Informationen sowohl aus dem LR- als auch aus dem SR-Bild, was die Schätzung des Blur-Kernels erleichtert. Noch wichtiger ist, dass das \textit{Restorer}-Modul mit dem durch das \textit{Estimator}-Modul geschätzten Kernel trainiert wird, anstatt mit dem echten Kernel (ground-truth kernel), wodurch das \textit{Restorer}-Modul gegenüber den Schätzfehlern des \textit{Estimator}-Moduls toleranter sein kann.Ausführliche Experimente an synthetischen Datensätzen und realen Bildern zeigen, dass unser Modell die state-of-the-art-Methoden weit übertrifft und bei viel höherer Geschwindigkeit visuell ansprechendere Ergebnisse liefert. Der Quellcode ist unter https://github.com/greatlog/DAN.git verfügbar.