CONVIQT: Kontrastiver Videoqualitäts-Schätzer

Die Bewertung der perceptuellen Videoqualität (VQA) ist eine zentrale Komponente vieler Streaming- und Video-Teilplattformen. In dieser Arbeit betrachten wir das Problem der Lernung perceptuell relevanter Videoqualitätsrepräsentationen auf selbstüberwachter Weise. Zur Schulung eines tiefen Lernmodells, das sowohl ein tiefes Convolutional Neural Network (CNN) zur Extraktion räumlicher Merkmale als auch eine rekurrente Einheit zur Erfassung zeitlicher Informationen enthält, wird die Identifizierung von Störungstypen und die Bestimmung des Degradationsniveaus als Hilfsaufgabe eingesetzt. Das Modell wird mittels eines kontrastiven Verlustes trainiert, weshalb wir diesen Trainingsrahmen und das resultierende Modell als CONtrastive VIdeo Quality EstimaTor (CONVIQT) bezeichnen. Während der Testphase werden die Gewichte des trainierten Modells fixiert, und ein linearer Regressor mapping die gelernten Merkmale auf Qualitätsbewertungen in einer no-reference (NR)-Umgebung. Wir führen umfassende Evaluierungen des vorgeschlagenen Modells an mehreren VQA-Datenbanken durch, indem wir die Korrelationen zwischen Modellvorhersagen und den tatsächlichen Qualitätsbewertungen analysieren, und erreichen dabei wettbewerbsfähige Leistungsergebnisse im Vergleich zu aktuellen State-of-the-Art-NR-VQA-Modellen, obwohl das Modell nicht auf diesen Datenbanken trainiert wurde. Unsere Ablationsexperimente zeigen, dass die gelernten Repräsentationen hochgradig robust sind und gut auf synthetische sowie realistische Störungen generalisieren. Unsere Ergebnisse deuten darauf hin, dass durch selbstüberwachtes Lernen überzeugende, perceptuell relevante Repräsentationen erzielt werden können. Die in dieser Arbeit verwendeten Implementierungen sind unter https://github.com/pavancm/CONVIQT verfügbar.