Single-Stage Adaptive Multi-Attention Network für die Bildrestaurierung

Kürzlich haben auf Aufmerksamkeit basierende Netzwerke bei Aufgaben der Bildrekonstruktion große Erfolge erzielt. Allerdings sind bestehende Methoden entweder rechenintensiv oder weisen begrenzte Empfangsfelder auf, was die Modellleistung einschränkt. Zudem sind sie weniger robust in räumlicher und kontextueller Hinsicht und verfügen über einen fehlenden pixelgenauen Korrespondenzmechanismus, was die Qualität der Merkmalsdarstellung beeinträchtigen kann. In diesem Artikel präsentieren wir eine neuartige und recheneffiziente Architektur namens Single Stage Adaptive Multi-Attention Network (SSAMAN) für Aufgaben der Bildrekonstruktion, insbesondere für Bildrauschenentfernung und Bildunschärfung. SSAMAN löst effizient rechnerische Herausforderungen und erweitert die Empfangsfelder, wodurch die Robustheit in der räumlichen und kontextuellen Merkmalsdarstellung verbessert wird. Der Adaptive Multi-Attention-Modul (AMAM), der aus einem Adaptive Pixel Attention Branch (APAB) und einem Adaptive Channel Attention Branch (ACAB) besteht, integriert einzigartigerweise sowohl kanalbasierte als auch pixelbasierte Dimensionen und verbessert signifikant die Empfindlichkeit gegenüber Kanten, Formen und Texturen. Wir führen umfangreiche Experimente und Ablationsstudien durch, um die Leistungsfähigkeit von SSAMAN zu validieren. Unser Modell erreicht auf verschiedenen Benchmarks state-of-the-art Ergebnisse: Beispielsweise erzielt SSAMAN bei Bildrauschenentfernung eine bemerkenswerte PSNR von 40,08 dB auf dem SIDD-Datensatz, was 0,06 dB PSNR über Restormer hinausgeht, bei einer Reduktion des Rechenaufwands um 41,02 %. Auf dem DND-Datensatz erreicht es eine PSNR von 40,05 dB. Für die Bildunschärfung erzielt SSAMAN eine PSNR von 33,53 dB auf dem GoPro-Datensatz. Der Quellcode und die Modelle sind auf GitHub verfügbar.