HyperAIHyperAI

Command Palette

Search for a command to run...

UGC-VQA: Benchmarking der blinden Videoqualitätsbewertung für Nutzererzeugte Inhalte

Zhengzhong Tu Yilin Wang Neil Birkbeck Balu Adsumilli Alan C. Bovik

Zusammenfassung

In den letzten Jahren hat sich die Menge an vom Nutzer erstelltem Inhalt (User-Generated Content, UGC) in Form von Videos exponentiell erhöht, was auf die Entwicklung kostengünstiger und zuverlässiger Aufnahmegeräte für den Endverbraucher sowie die immens hohe Beliebtheit sozialer Medienplattformen zurückzuführen ist. Dementsprechend besteht ein großes Bedürfnis nach präzisen Modellen zur Bewertung der Videoqualität (Video Quality Assessment, VQA) für UGC-/Verbraucher-Videos, um diesen umfangreichen Content zu überwachen, zu steuern und zu optimieren. Die blinden Qualitätsvorhersagen für in der Wildnis aufgenommene Videos sind äußerst herausfordernd, da die durch UGC verursachten Qualitätsbeeinträchtigungen unvorhersehbar, komplex und oft miteinander vermischt sind. In dieser Arbeit tragen wir zur Weiterentwicklung des UGC-VQA-Problems bei, indem wir eine umfassende Bewertung führender no-reference/blind VQA (BVQA)-Merkmale und -Modelle innerhalb einer festgelegten Evaluationsarchitektur durchführen. Dies liefert neue empirische Erkenntnisse sowohl für subjektive Videoqualitätsstudien als auch für die Gestaltung von VQA-Modellen. Durch die Anwendung einer Merkmalsauswahlstrategie auf die führenden BVQA-Merkmale gelingt es uns, aus den 763 statistischen Merkmalen, die von führenden Modellen verwendet werden, 60 Merkmale auszuwählen, um ein neues, auf Fusionsprinzipien basierendes BVQA-Modell zu erstellen, das wir als \textbf{VID}eo quality \textbf{EVAL}uator (VIDEVAL) bezeichnen. Dieses Modell erreicht effektiv ein optimales Gleichgewicht zwischen VQA-Leistung und Recheneffizienz. Unsere experimentellen Ergebnisse zeigen, dass VIDEVAL eine state-of-the-art-Leistung erzielt, jedoch deutlich geringere Rechenkosten verursacht als andere führende Modelle. Unser Forschungsprotokoll definiert zudem eine zuverlässige Benchmark für das UGC-VQA-Problem, die wir für eine weitere Forschung im Bereich der tiefen Lernverfahren für VQA sowie für die perceptiv optimierte effiziente Verarbeitung, Transkodierung und Streaming von UGC-Videos nutzen werden. Um reproduzierbare Forschung und öffentliche Evaluation zu fördern, wurde eine Implementierung von VIDEVAL online veröffentlicht: \url{https://github.com/tu184044109/VIDEVAL_release}.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp