Bild-Super-Resolution mit cross-scale nicht-lokalem Attention und erschöpfender Selbst-Beispiel-Mining

Tiefgehende, auf Faltungsnetzwerken basierende Methoden zur Einzelbild-Überauflösung (Single Image Super-Resolution, SISR) nutzen die Vorteile des Lernens aus großen externen Bildressourcen zur lokalen Rekonstruktion, wobei jedoch die meisten bestehenden Ansätze die langreichweitigen, featurebasierten Ähnlichkeiten in natürlichen Bildern vernachlässigen. Einige neuere Arbeiten haben diese inhärente Merkmalskorrelation erfolgreich durch die Exploration nicht-lokaler Aufmerksamkeitsmodule erschlossen. Doch bisher haben keine der bestehenden tiefen Modelle eine weitere inhärente Eigenschaft von Bildern untersucht: die Querskalen-Merkmalskorrelation. In diesem Artikel stellen wir das erste Querskalen-nichtlokale (Cross-Scale Non-Local, CS-NL) Aufmerksamkeitsmodul vor, das in ein rekurrentes neuronales Netzwerk integriert ist. Durch die Kombination dieses neuen CS-NL-Priors mit lokalen und innerhalb der Skala verbleibenden nicht-lokalen Priorisierungen in einer leistungsfähigen rekurrenten Fusionszelle können wir innerhalb eines einzelnen Bildes mit geringer Auflösung (Low-Resolution, LR) signifikant mehr Querskalen-Merkmalskorrelationen erkennen. Die Leistung der SISR wird durch die umfassende Integration aller möglichen Priorisierungen erheblich verbessert. Umfangreiche Experimente belegen die Wirksamkeit des vorgeschlagenen CS-NL-Moduls, wobei neue SOTA-Ergebnisse (State-of-the-Art) auf mehreren SISR-Benchmarks erreicht werden.