CONVIQT：对比视频质量评估器

感知视频质量评估（Perceptual Video Quality Assessment, VQA）是众多流媒体与视频分享平台中的关键组成部分。本文研究了一种在自监督学习框架下学习具有感知相关性的视频质量表征的方法。为训练一个包含深度卷积神经网络（CNN）以提取空间特征，以及循环单元以捕捉时间信息的深度学习模型，我们引入了失真类型识别与退化程度判定作为辅助任务。模型采用对比损失（contrastive loss）进行训练，因此我们将该训练框架及其生成的模型称为CONtrastive VIdeo Quality EstimaTor（CONVIQT）。在测试阶段，冻结已训练模型的权重，通过一个线性回归器将学习到的特征映射为无参考（No-Reference, NR）条件下的质量评分。我们在多个VQA数据集上对所提模型进行了全面评估，通过分析模型预测结果与真实质量评分之间的相关性，验证了其性能。尽管模型未在这些公开数据集上进行训练，其表现仍达到与当前最先进的无参考视频质量评估（NR-VQA）模型相当的水平。消融实验进一步表明，所学习到的特征表示具有高度鲁棒性，并能良好地泛化至合成失真与真实场景失真。结果表明，仅通过自监督学习即可获得具有显著感知意义的高质量表征。本文所采用的实现代码已开源，地址为：https://github.com/pavancm/CONVIQT。