Bildqualitätsbewertung ohne Referenz mittels Transformers, relativer Rangordnung und Selbstkonsistenz

Das Ziel der No-Reference-Bildqualitätsbewertung (NR-IQA) besteht darin, die wahrnehmungsbezogene Bildqualität im Einklang mit subjektiven Bewertungen zu schätzen. Dies stellt aufgrund des Fehlens eines unverfälschten Referenzbildes ein komplexes und bislang ungelöstes Problem dar. In diesem Beitrag stellen wir ein neuartiges Modell zur Lösung der NR-IQA-Aufgabe vor, das einen hybriden Ansatz nutzt, der von der Kombination von Convolutional Neural Networks (CNNs) und der Selbst-Attention-Mechanismus in Transformers profitiert, um sowohl lokale als auch nicht-lokale Merkmale aus dem Eingabebild zu extrahieren. Wir erfassen die lokale Strukturinformation des Bildes mittels CNNs und vermeiden dadurch die Lokalitätsverzerrung in den extrahierten CNN-Merkmalsrepräsentationen, um eine nicht-lokale Darstellung des Bildes zu erzielen. Dazu modellieren wir die extrahierten Merkmale als sequenzielle Eingabe für das Transformer-Modell. Darüber hinaus verbessern wir die Monotoniekorrelation zwischen subjektiven und objektiven Bewertungen, indem wir die relativen Distanzinformationen zwischen den Bildern innerhalb jeder Batch nutzen und die relative Rangfolge dieser Bilder erzwingen. Zudem beobachten wir, dass die Leistung von NR-IQA-Modellen abnimmt, wenn äquivalente Transformationen (z. B. horizontales Spiegeln) auf die Eingaben angewendet werden. Um die Robustheit der NR-IQA-Modelle zu erhöhen, schlagen wir daher eine Methode vor, die Selbstkonsistenz als Quelle von selbstüberwachtem Lernen nutzt. Konkret erzwingen wir die Selbstkonsistenz zwischen den Ausgaben unseres Qualitätsbewertungsmodells für jedes Bild und seiner transformierten Version (horizontal gespiegelt), um die reichhaltige selbstüberwachte Information auszunutzen und die Unsicherheit des Modells zu verringern. Um die Wirksamkeit unseres Ansatzes zu demonstrieren, evaluieren wir das Modell an sieben Standard-IQA-Datensätzen (sowohl synthetisch als auch authentisch) und zeigen, dass unser Modell auf verschiedenen Datensätzen Ergebnisse auf State-of-the-Art-Niveau erzielt.