End-to-End alternierende Optimierung für blinde Superauflösung

Bisherige Methoden zerlegen das blinde Super-Resolution-(SR)-Problem in zwei sequenzielle Schritte: \textit{i}) die Schätzung des Unschärfekerns aus dem gegebenen Niedrigauflösungs-(LR)-Bild und \textit{ii}) die Wiederherstellung des SR-Bildes basierend auf dem geschätzten Kern. Diese zweistufige Lösung basiert auf zwei unabhängig trainierten Modellen, die möglicherweise nicht optimal miteinander kompatibel sind. Ein kleiner Schätzfehler im ersten Schritt kann bereits zu einer erheblichen Leistungseinbuße im zweiten Schritt führen. Andererseits kann der erste Schritt nur begrenzte Informationen aus dem LR-Bild nutzen, was die Vorhersage eines hochgenauen Unschärfekerns erschwert. Um diese Probleme anzugehen, betrachten wir die beiden Schritte nicht mehr getrennt, sondern implementieren einen alternierenden Optimierungsalgorithmus, der die Schätzung des Unschärfekerns und die Wiederherstellung des SR-Bildes in einem einzigen Modell ermöglicht. Konkret entwerfen wir zwei convolutionale neuronale Module, die \textit{Restorer} und \textit{Estimator}. Der \textit{Restorer} stellt das SR-Bild basierend auf dem vorhergesagten Kern wieder her, während der \textit{Estimator} mit Hilfe des rekonstruierten SR-Bildes den Unschärfekern schätzt. Diese beiden Module werden wiederholt alternierend eingesetzt und dieser Prozess wird zur Bildung eines end-to-end trainierbaren Netzwerks entfaltet. Auf diese Weise nutzt der \textit{Estimator} Informationen sowohl aus dem LR- als auch aus dem SR-Bild, was die Schätzung des Unschärfekerns vereinfacht. Vor allem jedoch wird der \textit{Restorer} mit dem vom \textit{Estimator} geschätzten Kern, anstelle des wahren (ground-truth) Kerns, trainiert, sodass der \textit{Restorer} robuster gegenüber Schätzfehlern des \textit{Estimator} ist. Umfangreiche Experimente an synthetischen Datensätzen und realen Bildern zeigen, dass unser Modell die derzeit besten Ansätze deutlich übertrifft und dabei viel schneller und visuell ansprechender Ergebnisse erzeugt. Der Quellcode ist unter \url{https://github.com/greatlog/DAN.git} verfügbar.