11 天前

从审美与技术双重视角探索用户生成内容的视频质量评估

Haoning Wu, Erli Zhang, Liang Liao, Chaofeng Chen, Jingwen Hou, Annan Wang, Wenxiu Sun, Qiong Yan, Weisi Lin
从审美与技术双重视角探索用户生成内容的视频质量评估
摘要

用户生成内容(UGC)视频的迅猛增长,对高效视频质量评估(VQA)算法的发展提出了迫切需求。然而,UGC-VQA问题的评估目标仍不够明确,可从两个视角理解:技术视角,即衡量失真感知;美学视角,即与内容偏好和推荐相关。为深入探究这两个视角如何共同影响用户对UGC视频的整体主观评价,我们开展了一项大规模主观实验,系统收集了人们对视频整体质量的主观评分,以及从美学和技术两个维度的感知数据。由此构建的解耦视频质量数据库(DIVIDE-3k)证实,人类对UGC视频的质量判断不可避免地同时受到美学与技术双重视角的影响。基于这一发现,我们提出一种新型客观视频质量评估模型——解耦式客观视频质量评估器(DOVER),该模型能够分别从美学与技术两个视角建模UGC视频的质量。DOVER在UGC-VQA任务中展现出当前最优的性能表现,同时具备极高的计算效率。进一步地,依托DIVIDE-3k中分离的视角评分,我们提出DOVER++,这是首个能够仅基于单一美学或技术视角,提供可靠且清晰区分的质量评估方法。相关代码已开源,详见:https://github.com/VQAssessment/DOVER。