摘要
视频质量评估（Video Quality Assessment, VQA）是计算机视觉领域中的一个重要问题。在实际计算机视觉应用中，视频通常是在真实场景（in-the-wild）下采集的。本文聚焦于对真实场景视频的自动质量评估，该任务具有较大挑战性，主要源于缺乏参考视频、失真类型复杂多样，以及视频内容高度多样化。此外，现有数据集之间的视频内容与失真特征差异显著，导致基于数据驱动的方法在跨数据集评估设置下表现不佳。为提升质量评估模型的性能，本文借鉴人类视觉感知的机理，特别是人类视觉系统的内容依赖性（content dependency）与时间记忆效应（temporal-memory effect）。针对跨数据集评估的挑战，我们提出一种多数据集混合训练策略，旨在通过融合多个数据集训练单一VQA模型。所提出的统一框架显式包含三个阶段：相对质量评估器、非线性映射模块，以及数据集特定的感知尺度对齐机制，以联合预测视频的相对质量、感知质量与主观质量。我们在四个公开可用的真实场景VQA数据集上进行了实验，分别为LIVE-VQC、LIVE-Qualcomm、KoNViD-1k和CVD2014。实验结果验证了混合数据集训练策略的有效性，并证明所提出的统一模型在性能上优于当前最先进的方法。为促进可复现研究，我们已将该方法的PyTorch实现开源，项目地址为：https://github.com/lidq92/MDTVSFA。