Qualitätsbewusste Bild-Text-Anpassung für eine Meinungsunabhängige Bildqualitätsschätzung

Die No-Reference-Bildqualitätsbewertung (NR-IQA) konzentriert sich auf die Entwicklung von Methoden zur Messung der Bildqualität, die mit der menschlichen Wahrnehmung übereinstimmen, wenn ein hochwertiges Referenzbild nicht verfügbar ist. Die meisten modernsten NR-IQA-Ansätze sind bewertungsorientiert, d.h. sie erfordern menschliche Annotationen für das Training. Diese Abhängigkeit begrenzt ihre Skalierbarkeit und breite Anwendbarkeit. Um diese Einschränkung zu überwinden, schlagen wir QualiCLIP (Quality-aware CLIP) vor, einen CLIP-basierten selbstüberwachten Ansatz ohne Bewertungen durch Menschen.Insbesondere führen wir eine qualitätsbewusste Bild-Text-Ausrichtungsstrategie ein, um CLIP dazu zu bringen, qualitätsbewusste Bildrepräsentationen zu generieren. Ausgehend von unversehrten Bildern degradieren wir diese synthetisch in steigendem Maße. Anschließend trainieren wir CLIP, diese degradierten Bilder basierend auf ihrer Ähnlichkeit zu textbasierten Antonym-Prompts bezüglich der Qualität zu rangieren. Gleichzeitig zwingen wir CLIP, konsistente Repräsentationen für Bilder mit ähnlichem Inhalt und demselben Degradationsgrad zu generieren.Unsere Experimente zeigen, dass der vorgeschlagene Ansatz bei mehreren Datensätzen mit verschiedenen Verzerrungsarten bessere Ergebnisse als bestehende bewertungsunabhängige Ansätze erzielt. Darüber hinaus erreicht QualiCLIP trotz des Verzichts auf menschliche Annotationen in Querdatensatzerfahrungen ausgezeichnete Leistungen im Vergleich zu überwachten bewertungsorientierten Methoden, was bemerkenswerte Generalisierungsfähigkeiten belegt. Der Code und das Modell sind öffentlich zugänglich unter https://github.com/miccunifi/QualiCLIP.