Patch-VQ: „Patching Up“ das Problem der Videoqualität

Die no-reference (NR)-Bewertung der subjektiven Videoqualität (VQA) stellt ein komplexes, bislang ungelöstes und dennoch von großer Bedeutung für soziale und Streaming-Medienanwendungen dar. Effiziente und genaue Vorhersagemodelle für Videoqualität sind erforderlich, um die Verarbeitung von Milliarden von gemeinsam genutzten, oft fehlerbehafteten, nutzergenerierten Inhalten (UGC) zu überwachen und zu steuern. Leider sind aktuelle NR-Modelle hinsichtlich ihrer Vorhersagefähigkeit auf realen, „in-the-wild“-UGC-Video-Daten begrenzt. Um Fortschritte auf diesem Gebiet voranzutreiben, haben wir die bislang größte subjektive Videoqualitäts-Datenbank erstellt, die 39.000 realweltverzerrte Videos sowie 117.000 räumlich-zeitlich lokalisierte Video-Patches („v-Patches“) und 5,5 Millionen menschliche perceptuelle Qualitätsbewertungen enthält. Auf Basis dieser Daten haben wir zwei einzigartige NR-VQA-Modelle entwickelt: (a) eine regionenbasierte, lokal-zu-globale NR-VQA-Architektur (PVQ), die lernfähig ist, die globale Videoqualität vorherzusagen und derzeit die Bestleistung auf drei UGC-Datensätzen erzielt, sowie (b) eine weltweit erste räumlich-zeitliche Videoqualitäts-Zuordnungsmaschine (PVQ Mapper), die die Lokalisierung und Visualisierung perceptueller Verzerrungen im Raum und in der Zeit ermöglicht. Die neue Datenbank und die Vorhersagemodelle werden unmittelbar nach Abschluss des Begutachtungsprozesses öffentlich verfügbar gemacht.