Deep Learning-basierte vollständig referenzbasierte und referenzfreie Qualitätsbewertungsmodelle für komprimierte UGC-Videos

In diesem Paper stellen wir einen auf Deep Learning basierenden Video Quality Assessment (VQA)-Ansatz vor, um die Qualität komprimierter User-Generated Content (UGC)-Videos zu bewerten. Der vorgeschlagene VQA-Ansatz besteht aus drei Modulen: dem Merkmalsextraktionsmodul, dem Qualitätsregressionsmodul und dem Qualitäts-Pooling-Modul. Für das Merkmalsextraktionsmodul fassen wir die Merkmale aus den mittleren Schichten eines Convolutional Neural Network (CNN) zu einer endgültigen qualitätsbewussten Merkmalsdarstellung zusammen, wodurch das Modell die visuellen Informationen von niedrigem bis hohem Level optimal nutzen kann. Konkret werden die Struktur- und Texturähnlichkeiten der Merkmalskarten, die aus allen mittleren Schichten extrahiert wurden, als Merkmalsdarstellung für das Full-Reference (FR)-VQA-Modell berechnet, während für das No-Reference (NR)-VQA-Modell das globale Mittelwert- und Standardabweichungswert der abschließend gefassten Merkmalskarten, die aus den mittleren Merkmalskarten zusammengesetzt wurden, als Merkmalsdarstellung verwendet werden. Im Qualitätsregressionsmodul nutzen wir eine vollständig verbundene (FC-)Schicht, um die qualitätsbewussten Merkmale in frame-basierte Qualitätsbewertungen zu regressieren. Schließlich wird eine subjektiv inspirierte zeitliche Pooling-Strategie angewandt, um die frame-basierten Scores zu einem video-basierten Gesamtwert zu aggregieren. Das vorgeschlagene Modell erreicht die bestmögliche Leistung unter den aktuellen state-of-the-art-Modellen für FR- und NR-VQA auf der Compressed UGC VQA-Datenbank und zeigt zudem sehr gute Ergebnisse auf wilden (in-the-wild) UGC VQA-Datenbanken.