MANIQA: Multi-dimensionale Aufmerksamkeitsnetzwerk für die no-reference Bildqualitätsbewertung

Die no-reference-Bildqualitätsbewertung (NR-IQA) zielt darauf ab, die wahrgenommene Bildqualität im Einklang mit der menschlichen subjektiven Wahrnehmung zu bewerten. Leider erfüllen bestehende NR-IQA-Methoden die Anforderungen hinsichtlich der präzisen Vorhersage von Qualitätsbewertungen für GAN-basierte Verzerrungsbilder bisher nicht ausreichend. Um diesem Problem entgegenzuwirken, schlagen wir den Multi-dimension Attention Network for no-reference Image Quality Assessment (MANIQA) vor, um die Leistung bei GAN-basierten Verzerrungen zu verbessern. Zunächst extrahieren wir Merkmale mittels ViT (Vision Transformer), um anschließend globale und lokale Interaktionen zu stärken, indem wir den Transposed Attention Block (TAB) und den Scale Swin Transformer Block (SSTB) einführen. Diese beiden Module setzen jeweils Aufmerksamkeitsmechanismen entlang der Kanal- und räumlichen Dimension ein. In dieser mehrdimensionalen Herangehensweise erhöhen die Module kooperativ die Interaktion zwischen verschiedenen Bildregionen sowohl global als auch lokal. Schließlich wird eine Dual-Branch-Architektur für die patchgewichtete Qualitätsvorhersage eingesetzt, um das endgültige Qualitätsmaß basierend auf den Gewichten der einzelnen Patch-Bewertungen vorherzusagen. Experimentelle Ergebnisse zeigen, dass MANIQA die derzeit besten Methoden auf vier Standarddatensätzen (LIVE, TID2013, CSIQ und KADID-10K) mit großem Abstand übertrifft. Darüber hinaus belegte unsere Methode beim abschließenden Testphase des NTIRE 2022 Perceptual Image Quality Assessment Challenge Track 2: No-Reference den ersten Platz. Der Quellcode und die Modelle sind unter https://github.com/IIGROUP/MANIQA verfügbar.