Qualitätsbewertung von Videos aus der Wildbahn

Die Bewertung der Qualität von Videos im realen Einsatz (in-the-wild) ist ein anspruchsvolles Problem aufgrund des Fehlens von Referenzvideos und Schiebverzerrungen. Das Wissen über das menschliche visuelle System kann dabei helfen, Methoden zur objektiven Qualitätseinschätzung solcher Videos zu entwickeln. In dieser Arbeit zeigen wir, dass zwei ausgeprägte Effekte des menschlichen visuellen Systems, nämlich die inhaltsabhängige Wahrnehmung und der zeitliche Gedächtniseffekt, für diesen Zweck genutzt werden können. Wir schlagen eine objektive Methode zur Videoqualitätseinschätzung ohne Referenzvideo vor, indem wir beide Effekte in ein tiefes neuronales Netzwerk integrieren. Für den inhaltsabhängigen Aspekt extrahieren wir Merkmale aus einem vortrainierten Bildklassifizierungsnetzwerk aufgrund seiner inhärenten inhaltsbewussten Eigenschaften. Bei den zeitlichen Gedächtniseffekten werden langfristige Abhängigkeiten, insbesondere die zeitliche Hysterese, durch eine gattergesteuerte rekurrente Einheit und eine subjektiv inspirierte temporäre Pooling-Schicht in das Netzwerk integriert. Um die Leistung unserer Methode zu überprüfen, wurden Experimente an drei öffentlich zugänglichen Datenbanken zur Videoqualitätseinschätzung im realen Einsatz durchgeführt: KoNViD-1k, CVD2014 und LIVE-Qualcomm. Die experimentellen Ergebnisse zeigen, dass unsere vorgeschlagene Methode fünf Stand-of-the-Art-Methoden um einen großen Vorsprung übertreffen kann. Genauer gesagt erzielen wir Verbesserungen der Gesamtleistung von 12,39 %, 15,71 %, 15,45 % und 18,09 % gegenüber der zweitbesten Methode VBLIINDS in Bezug auf SROCC (Spearman’s Rank Order Correlation Coefficient), KROCC (Kendall’s Rank Order Correlation Coefficient), PLCC (Pearson Linear Correlation Coefficient) und RMSE (Root Mean Squared Error). Darüber hinaus bestätigt die Ablationsstudie die entscheidende Rolle sowohl der inhaltsbewussten Merkmale als auch des Modellierens von zeitlichen Gedächtniseffekten. Die Implementierung unserer Methode in PyTorch wird unter https://github.com/lidq92/VSFA veröffentlicht.