HMANet: Hybrid Multi-Axis Aggregation Network für die Bild-Super-Resolution

Transformer-basierte Methoden haben bei Aufgaben der Super-Resolution-Bildverarbeitung hervorragende Leistungen gezeigt und klassische Faltungsneuronale Netze übertroffen. Allerdings beschränken bestehende Ansätze die Berechnung der Selbst-Attention typischerweise auf nicht überlappende Fenster, um die Rechenkosten zu reduzieren. Dies bedeutet, dass Transformer-basierte Netzwerke nur Informationen aus einem begrenzten räumlichen Bereich nutzen können. Um dieses Limit zu überwinden und das Potenzial der Merkmalsinformationen besser auszunutzen, wird in diesem Beitrag ein neuartiges Hybrid Multi-Axis Aggregation-Netzwerk (HMA) vorgestellt. HMA wird durch die Stapelung von Residual Hybrid Transformer Blocks (RHTB) und Grid Attention Blocks (GAB) konstruiert. Auf der einen Seite kombiniert der RHTB Kanal-Attention mit Selbst-Attention, um die Fusion nicht-lokaler Merkmale zu verstärken und visuell ansprechendere Ergebnisse zu erzeugen. Auf der anderen Seite dient der GAB zur Interaktion zwischen verschiedenen Domänen, um ähnliche Merkmale gemeinsam zu modellieren und einen größeren Wahrnehmungsfeld zu erreichen. Für die Aufgabe der Super-Resolution wird im Trainingsprozess eine neuartige Vortrainingsmethode entwickelt, um die Darstellungsfähigkeit des Modells weiter zu verbessern und die Wirksamkeit des vorgeschlagenen Ansatzes durch zahlreiche Experimente zu validieren. Die experimentellen Ergebnisse zeigen, dass HMA die state-of-the-art-Methoden auf dem Benchmark-Datensatz übertrifft. Wir stellen den Quellcode und die Modelle unter https://github.com/korouuuuu/HMA zur Verfügung.