2BiVQA: Doppeltes Bi-LSTM-basiertes Videoqualitätsassessment von UGC-Videos

In letzter Zeit sind User-Generated Content (UGC)-Videos aufgrund der zunehmenden Verbreitung mobiler Geräte sowie Video-Teilplattformen (z. B. YouTube, Facebook, TikTok und Twitch) immer häufiger geworden und machen nun einen erheblichen Anteil des multimedialen Internets traffik aus. Im Gegensatz zu professionell produzierten Videos, die von Filmemachern und Videokünstlern erstellt werden, enthalten UGC-Videos typischerweise mehrere authentische Verzerrungen, die in der Regel während der Aufnahme und Verarbeitung durch unerfahrene Nutzer entstehen. Die Qualitätsschätzung von UGC-Videos ist von entscheidender Bedeutung, um deren Verarbeitung in Hosting-Plattformen – beispielsweise Codierung, Transkodierung und Streaming – zu optimieren und zu überwachen. Die blinde Qualitätsbewertung von UGC ist jedoch äußerst herausfordernd, da die Degradierungen von UGC-Videos unbekannt und äußerst vielfältig sind und zudem kein unverfälschtes Referenzvideo verfügbar ist. Daher schlagen wir in diesem Artikel ein genaues und effizientes Modell zur blinden Videoqualitätsbewertung (Blind Video Quality Assessment, BVQA) für UGC-Videos vor, das wir 2BiVQA (Double Bi-LSTM Video Quality Assessment) nennen. Das 2BiVQA-Modell besteht aus drei Hauptkomponenten: einem vortrainierten Faltungsneuronalen Netzwerk (Convolutional Neural Network, CNN), das diskriminative Merkmale aus Bildpatches extrahiert, die anschließend in zwei rekurrente Neuronale Netze (Recurrent Neural Networks, RNNs) zur räumlichen und zeitlichen Pooling-Verarbeitung eingespeist werden. Genauer gesagt verwenden wir zwei bidirektionale Long Short-Term Memory-Netzwerke (Bi-LSTM), wobei das erste zur Erfassung kurzfristiger Abhängigkeiten zwischen Bildpatches dient, während das zweite langfristige Abhängigkeiten zwischen Bildern erfasst, um den zeitlichen Gedächtniseffekt zu berücksichtigen. Experimentelle Ergebnisse auf aktuellen, großskaligen UGC-VQA-Datensätzen zeigen, dass 2BiVQA eine hohe Leistung bei geringerem Rechenaufwand erzielt als die meisten state-of-the-art-VQA-Modelle. Der Quellcode unseres 2BiVQA-Modells ist öffentlich zugänglich unter: https://github.com/atelili/2BiVQA