Einheitliche Qualitätsbewertung von In-the-Wild-Videos durch Training mit gemischten Datensätzen

Die Bewertung der Videoqualität (Video Quality Assessment, VQA) ist ein zentrales Problem im Bereich des Computersehens. In Anwendungen des Computersehens werden Videos typischerweise in natürlicher Umgebung („in-the-wild“) aufgenommen. Wir konzentrieren uns auf die automatische Bewertung der Qualität solcher in-the-wild-Videos, was eine herausfordernde Aufgabe darstellt, bedingt durch das Fehlen von Referenzvideos, die Komplexität von Verzerrungen sowie die Vielfalt der Videoinhalte. Darüber hinaus unterscheiden sich die Inhalte und Verzerrungen in den existierenden Datensätzen erheblich, was zu einer schlechten Leistung datengetriebener Methoden im Szenario der Kreuz-Datensatz-Evaluation führt. Um die Leistung von Qualitätsbewertungsmodellen zu verbessern, ziehen wir Erkenntnisse aus der menschlichen Wahrnehmung heran, insbesondere die Inhaltsabhängigkeit und die zeitliche Gedächtniswirkung des menschlichen visuellen Systems. Um der Herausforderung der Kreuz-Datensatz-Evaluation zu begegnen, untersuchen wir eine Mixed-Datasets-Trainingsstrategie, um ein einziges VQA-Modell mit mehreren Datensätzen zu trainieren. Der vorgeschlagene einheitliche Rahmen beinhaltet explizit drei Stufen: Relativer Qualitätsbewerter, nichtlineare Abbildung und anpassungsfähige Ausrichtung auf datenspezifische wahrnehmungsbasierte Skalen, um gemeinsam relative Qualität, wahrnehmungsbezogene Qualität und subjektive Qualität vorherzusagen. Experimente werden an vier öffentlich verfügbaren Datensätzen für die VQA in-the-wild durchgeführt, nämlich LIVE-VQC, LIVE-Qualcomm, KoNViD-1k und CVD2014. Die experimentellen Ergebnisse bestätigen die Wirksamkeit der Mixed-Datasets-Trainingsstrategie und belegen die überlegene Leistung des einheitlichen Modells gegenüber aktuellen State-of-the-Art-Modellen. Für eine reproduzierbare Forschung stellen wir die PyTorch-Implementierung unserer Methode unter https://github.com/lidq92/MDTVSFA zur Verfügung.