基于对比学习的图像质量评估

我们研究了在自监督方式下获取图像质量表示的问题。为此，我们采用失真类型与失真程度的预测作为辅助任务，从包含合成失真与真实失真混合的未标注图像数据集中学习特征。随后，我们利用对比成对（contrastive pairwise）目标函数训练一个深度卷积神经网络（CNN），以解决该辅助任务。我们将所提出的训练框架及由此得到的深度图像质量评估模型称为 CONTRastive Image QUality Evaluator（CONTRIQUE）。在评估阶段，冻结CNN的权重，使用一个线性回归器将学习到的特征表示映射为无参考（No-Reference, NR）设置下的图像质量得分。通过大量实验表明，即使不进行任何额外的CNN主干网络微调，CONTRIQUE在性能上仍可与当前最先进的无参考图像质量评估模型相媲美。所学习到的特征表示具有高度鲁棒性，并能在遭受合成失真或真实失真影响的图像之间良好泛化。我们的结果表明，无需依赖大规模标注的主观图像质量数据集，即可获得具有感知相关性的强大图像质量表示。本文所采用的实现代码已公开于 \url{https://github.com/pavancm/CONTRIQUE}。