Dual-domain Strip Attention für die Bildrekonstruktion

Die Bildrekonstruktion zielt darauf ab, ein latentes hochwertiges Bild aus einer beeinträchtigten Beobachtung wiederherzustellen. In jüngster Zeit hat die Verwendung von Transformer die state-of-the-art-Leistung verschiedener Bildrekonstruktionsaufgaben erheblich vorangebracht, da sie über eine starke Fähigkeit zur Modellierung langreichweiten Abhängigkeiten verfügt. Allerdings behindert die quadratische Komplexität des Self-Attention- Mechanismus praktische Anwendungen. Darüber hinaus kann die ausreichende Nutzung der erheblichen Spektraldifferenz zwischen sauberen und beeinträchtigten Bildpaaren ebenfalls zur Verbesserung der Bildrekonstruktion beitragen. In diesem Artikel entwickeln wir einen dualen Domänen-Strip-Attention-Mechanismus für die Bildrekonstruktion, der die Repräsentationslernung durch die Kombination von räumlichen und frequenzbasierten Strip-Attention-Einheiten verbessert. Konkret erfasst die räumliche Strip-Attention-Einheit kontextuelle Informationen für jeden Pixel aus benachbarten Positionen in derselben Zeile oder Spalte unter Anleitung gelernter Gewichte mittels einer einfachen convolutionalen Verzweigung. Zusätzlich verfeinert die Frequenz-Strip-Attention-Einheit Merkmale im Spektralbereich durch Frequenztrennung und Modulation, wobei einfache Pooling-Techniken zur Umsetzung herangezogen werden. Darüber hinaus setzen wir unterschiedliche Strip-Größen ein, um die Mehrskalenlernfähigkeit zu stärken, was besonders vorteilhaft ist, um Beeinträchtigungen unterschiedlicher Größenordnungen zu bewältigen. Durch die Anwendung der dualen Domänen-Attention-Einheiten in verschiedenen Richtungen kann jeder Pixel implizit Informationen aus einem erweiterten Bereich wahrnehmen. Insgesamt erreicht das vorgeschlagene Dual-Domain-Strip-Attention-Netzwerk (DSANet) state-of-the-art-Leistungen auf 12 verschiedenen Datensätzen für vier Bildrekonstruktionsaufgaben, darunter Bildentnebelung, Bildentflockung, Bildentrauschung und Bildunschärfungsbeseitigung.