15 天前

基于深度学习的无参考质量评估模型用于UGC视频

Wei Sun, Xiongkuo Min, Wei Lu, Guangtao Zhai
基于深度学习的无参考质量评估模型用于UGC视频
摘要

用户生成内容(User Generated Content, UGC)视频的质量评估在保障终端用户观看体验方面具有重要作用。以往的UGC视频质量评估(VQA)研究通常采用图像识别模型或图像质量评估(IQA)模型,从视频帧中提取帧级特征以进行质量回归。然而,由于这些任务与UGC VQA任务之间存在显著的域偏移(domain shift),此类方法被视为次优方案。本文提出了一种简洁而高效的UGC VQA模型,旨在通过端到端训练空间特征提取网络,直接从视频帧的原始像素中学习具有质量感知能力的空间特征表示,从而缓解上述问题。同时,为建模空间特征无法捕捉的时序相关失真,我们进一步提取运动特征。所提模型采用极稀疏帧提取空间特征,并利用高密度帧(即视频片段)以极低的空间分辨率提取运动特征,从而实现较低的计算复杂度。基于更优的质量感知特征,我们仅采用简单的多层感知机(MLP)网络将特征回归为片段级质量得分,并通过时序平均池化策略获得视频级质量评分。此外,为解决跨不同空间分辨率的VQA问题,我们引入了一种多尺度质量融合策略,其多尺度权重由人类视觉系统的对比敏感度函数(Contrast Sensitivity Function, CSF)推导得出。实验结果表明,所提模型在五个主流UGC VQA数据集上均取得了最优性能,充分验证了其有效性。相关代码将公开发布。