Struktur erhaltende Super-Resolution mit Gradientenführung

Strukturen spielen bei der Einzelbild-Super-Resolution (SISR) eine entscheidende Rolle. Kürzlich haben Studien, die von generativen adversarialen Netzwerken (GANs) profitieren, die Entwicklung der SISR vorangetrieben, indem sie fotografisch realistische Bilder rekonstruiert haben. Dennoch treten in den rekonstruierten Bildern häufig unerwünschte strukturelle Verzerrungen auf. In diesem Artikel stellen wir eine strukturbehaltende Super-Resolution-Methode vor, die dieses Problem mildert, während die Vorteile GAN-basierter Ansätze zur Generierung perceptiv angenehmer Details beibehalten werden. Konkret nutzen wir Gradientenkarten von Bildern, um die Rekonstruktion in zweifacher Hinsicht zu leiten. Zum einen rekonstruieren wir hochauflösende Gradientenkarten mittels eines Gradienten-Zweig-Netzwerks, um zusätzliche strukturelle Priorisierungen für den SR-Prozess bereitzustellen. Zum anderen schlagen wir eine Gradientenverlustfunktion vor, die eine zweite Ordnungseinschränkung auf die superaufgelösten Bilder anwendet. Zusammen mit den klassischen verlustbasierten Funktionen im Bildraum helfen die Gradientenraum-Ziele generativen Netzwerken, sich stärker auf geometrische Strukturen zu konzentrieren. Zudem ist unsere Methode modellunabhängig und kann potenziell für kommerziell verfügbare SR-Netzwerke eingesetzt werden. Experimentelle Ergebnisse zeigen, dass wir die besten Werte für PI und LPIPS erzielen und gleichzeitig vergleichbare PSNR- und SSIM-Werte im Vergleich zu aktuellen perceptiv ausgerichteten SR-Methoden erreichen. Visuelle Ergebnisse belegen unsere Überlegenheit bei der Wiederherstellung von Strukturen, während gleichzeitig natürliche, hochauflösende Bilder generiert werden.