Strip Attention für die Bildrestaurierung

Als eine lang etablierte Aufgabe zielt die Bildrestaurierung darauf ab, das latente scharfe Bild aus seiner verschlechterten Version wiederherzustellen. In den letzten Jahren haben Transformer-basierte Methoden aufgrund ihrer starken Fähigkeit, langreichweitige Abhängigkeiten zu erfassen, auf zahlreichen Bildrestaurierungsaufgaben vielversprechende Ergebnisse erzielt. Allerdings führt die klassische Self-Attention aufgrund ihrer quadratischen Komplexität bezüglich der Eingabegröße zu erheblichen Rechenkosten und behindert somit deren weitergehende Anwendung in der Bildrestaurierung. In diesem Paper stellen wir ein Strip Attention Network (SANet) für die Bildrestaurierung vor, um Informationen effizienter und effektiver zu integrieren. Konkret wird eine Strip Attention Unit vorgeschlagen, die kontextuelle Informationen für jeden Pixel aus seinen benachbarten Pixeln in derselben Zeile oder Spalte erfasst. Durch die Anwendung dieser Operation in verschiedenen Richtungen kann jeder Ort Informationen aus einem erweiterten Bereich wahrnehmen. Zudem werden unterschiedliche Rezeptivfelder in verschiedenen Merkmalsgruppen eingesetzt, um die Repräsentationslernfähigkeit weiter zu verbessern. Durch die Integration dieser Designelemente in einen U-förmigen Backbone erreicht unser SANet gegenüber aktuellen State-of-the-Art-Algorithmen hervorragende Ergebnisse auf mehreren Bildrestaurierungsaufgaben. Der Quellcode ist unter https://github.com/c-yn/SANet verfügbar.