Bild-Super-Resolution mittels auf Aufmerksamkeit basierender Rückprojektionsnetzwerke

Basiert auf tiefen Lernverfahren entwickelte Bild-Super-Resolution (SR) hat aufgrund ihrer Fähigkeit, große Datenmengen effizient zu verarbeiten, eine rasante Entwicklung erfahren. Generell ermöglichen tiefere und breitere Netzwerke die Extraktion reicher Merkmalskarten und die Erzeugung von SR-Bildern mit herausragender Qualität. Allerdings steigt mit der Komplexität des Netzwerks auch der zeitliche Aufwand für praktische Anwendungen erheblich. Daher ist es entscheidend, vereinfachte Netzwerke für eine effiziente Bild-Super-Resolution zu entwickeln. In diesem Artikel stellen wir ein auf Aufmerksamkeit basierendes Back-Projection-Netzwerk (ABPN) für die Bild-Super-Resolution vor. Ähnlich wie einige neuere Arbeiten vermuten wir, dass der Back-Projection-Mechanismus für die SR weiter optimiert werden kann. Dazu schlagen wir verbesserte Back-Projection-Blöcke vor, die iterativ die Residuen von Niedrig- und Hochauflösungsmerkmalen aktualisieren. Inspiriert durch jüngste Studien zu Aufmerksamkeitsmodellen, führen wir einen Spatial Attention Block (SAB) ein, um die Kreuzkorrelation zwischen Merkmalen verschiedener Schichten zu lernen. Ausgehend von der Annahme, dass ein guter SR-Output nach Nachuntersampling dem ursprünglichen Niedrigauflösungs-Bild nahekommen sollte, schlagen wir einen verfeinerten Back-Projection-Block (RBPB) für die endgültige Rekonstruktion vor. Umfangreiche Experimente an mehreren öffentlichen Datensätzen sowie an den Daten des AIM2019 Image Super-Resolution Challenges zeigen, dass das vorgeschlagene ABPN sowohl quantitativ als auch qualitativ Ergebnisse auf State-of-the-Art-Niveau oder sogar darüber hinaus erzielt.