Wahrnehmungsorientierte Einzelbild-Super-Resolution mittels optimaler Zielgrößenschätzung

Einzelbild-Super-Resolution-(SISR)-Netzwerke, die mit perceptuellen und adversarialen Verlusten trainiert werden, liefern im Vergleich zu Netzwerken, die mit verzerrungsorientierten Verlusten wie L1 oder L2 trainiert werden, hochkontrastige Ausgaben. Es wurde jedoch gezeigt, dass die Verwendung eines einzelnen perceptuellen Verlustes unzureichend ist, um lokal variierende, vielfältige Formen in Bildern genau wiederherzustellen, wodurch oft unerwünschte Artefakte oder unrealistische Details entstehen. Aus diesem Grund wurden Kombinationen verschiedener Verluste – beispielsweise perceptuelle, adversariale und verzerrungsorientierte Verluste – untersucht, doch bleibt die Suche nach optimalen Kombinationen eine Herausforderung. Daher stellen wir in diesem Paper einen neuen SISR-Framework vor, der für jede Region optimale Ziele anwendet, um plausibel erscheinende Ergebnisse über die gesamte hochauflösende Ausgabe hinweg zu erzeugen. Konkret besteht der Rahmen aus zwei Modellen: einem prädiktiven Modell, das eine optimale Zielverlustkarte für eine gegebene Niedrigauflösungs-(LR)-Eingabe schätzt, und einem generativen Modell, das eine vorgegebene Zielverlustkarte nutzt, um die entsprechende hochauflösende (SR)-Ausgabe zu erzeugen. Das generative Modell wird über eine von uns vorgeschlagene Zielverlustbahn trainiert, die eine Reihe wesentlicher Ziele repräsentiert und es dem einzigen Netzwerk ermöglicht, verschiedene SR-Ergebnisse zu lernen, die den kombinierten Verlusten entlang dieser Bahn entsprechen. Das prädiktive Modell wird anhand von Paaren aus LR-Bildern und den entsprechenden optimalen Zielverlustkarten trainiert, die aus der Zielverlustbahn gesucht wurden. Experimentelle Ergebnisse an fünf Benchmarks zeigen, dass die vorgeschlagene Methode state-of-the-art perceptuellen SR-Methoden in den Metriken LPIPS, DISTS, PSNR und SSIM übertrifft. Visuelle Ergebnisse belegen zudem die Überlegenheit unseres Ansatzes bei der perceptuellen Rekonstruktion. Der Quellcode und die Modelle sind unter https://github.com/seungho-snu/SROOE verfügbar.