11 天前

RAPIQUE:用户生成内容的快速准确视频质量预测

Zhengzhong Tu, Xiangxu Yu, Yilin Wang, Neil Birkbeck, Balu Adsumilli, Alan C. Bovik
RAPIQUE:用户生成内容的快速准确视频质量预测
摘要

用户生成内容(User-Generated Content, UGC)的盲源或无参考视频质量评估已成为当前一个热门且极具挑战性的研究课题,至今仍未得到有效解决。因此,亟需开发出准确且高效的视频质量预测模型,以实现对UGC视频更智能的分析与处理。以往研究表明,自然场景统计特征与深度学习特征均具备捕捉空间失真能力,而空间失真正是影响UGC视频质量的关键因素之一。然而,现有模型在实际应用中对复杂多样的UGC视频质量预测方面,普遍存在能力不足或效率低下的问题。本文提出一种高效且精准的UGC视频质量评估模型,命名为“快速而准确的视频质量评估器”(Rapid and Accurate Video Quality Evaluator, RAPIQUE)。实验结果表明,RAPIQUE在性能上可与当前最先进的(State-of-the-Art, SOTA)模型相媲美,同时运行速度提升数个数量级。该模型融合并充分利用了质量感知的场景统计特征与语义感知的深度卷积特征,从而首次构建出一种通用且高效的时空(space-time)带通统计建模框架,用于视频质量分析。在近期大规模UGC视频质量数据库上的实验验证显示,RAPIQUE在所有数据集上均取得了领先性能,且计算开销显著降低。我们期望本工作能够推动并激发更多针对实际视频质量建模的研究,为未来实时、低延迟的应用场景提供技术支持。为促进学术界与工业界的广泛使用,RAPIQUE的开源实现已公开发布于GitHub:\url{https://github.com/vztu/RAPIQUE}。