Bildqualitätsbewertung mithilfe von Kontrastivem Lernen

Wir betrachten das Problem der Gewinnung von Bildqualitätsrepräsentationen auf selbstüberwachter Weise. Wir nutzen die Vorhersage von Störungstyp und -grad als Hilfsaufgabe, um Merkmale aus einem unlabeled Bilddatensatz zu lernen, der eine Mischung aus synthetischen und realistischen Störungen enthält. Anschließend trainieren wir ein tiefes konvolutionales neuronal Netzwerk (CNN) unter Verwendung eines kontrastiven Paarobjektivs zur Lösung der Hilfsaufgabe. Wir bezeichnen den vorgeschlagenen Trainingsrahmen und das resultierende tiefe IQA-Modell als CONTRastive Image QUality Evaluator (CONTRIQUE). Während der Evaluation werden die CNN-Gewichte fixiert, und ein linearer Regressor bildet die gelernten Repräsentationen in Qualitätsbewertungen im No-Reference-(NR)-Setting ab. Durch umfangreiche Experimente zeigen wir, dass CONTRIQUE eine konkurrenzfähige Leistung erzielt, verglichen mit modernsten NR-Bildqualitätsmodellen, selbst ohne zusätzliche Feinabstimmung des CNN-Backbones. Die gelernten Repräsentationen sind äußerst robust und verallgemeinern sich gut auf Bilder, die entweder synthetische oder authentische Störungen aufweisen. Unsere Ergebnisse deuten darauf hin, dass leistungsstarke, wahrnehmungsrelevante Qualitätsrepräsentationen erzielt werden können, ohne dass große, beschriftete Datensätze subjektiver Bildqualität erforderlich sind. Die in diesem Artikel verwendeten Implementierungen sind unter \url{https://github.com/pavancm/CONTRIQUE} verfügbar.