摘要
在计算机视觉中，估计图像之间的感知误差是一个重要的问题，具有广泛的应用。尽管这一问题已经得到了深入研究，但目前尚无任何方法能够像人类一样稳健地预测视觉差异。一些先前的方法使用了手工编码模型，但它们无法模拟人类视觉系统的复杂性。其他方法则利用机器学习在人工标注的数据集上训练模型，但由于人们难以对失真图像分配一致的误差标签，创建大规模、高质量的数据集非常困难。本文提出了一种新的基于学习的方法，首次实现了像人类观察者一样预测感知图像误差的能力。鉴于人们更容易比较两幅给定的图像并识别出与参考图像更相似的那一幅，而不是为每幅图像分配质量评分，我们构建了一个新的大规模数据集，该数据集标注了人类偏好一幅图像而非另一幅的概率。随后，我们使用一种新颖的成对学习框架来训练深度学习模型，以预测对一幅失真图像相对于另一幅的偏好。我们的关键发现是，经过训练的网络可以单独使用单个失真图像和参考图像来预测其感知误差，而无需在显式的人类感知误差标签上进行训练。通过我们新提出的度量标准PieAPP（Perceptual Image Error Assessment through Pairwise Preference）估计的感知误差与人类意见高度相关。此外，它在二元错误率方面显著优于现有算法，在测试集上的表现比最先进的方法提高了近3倍，并且能够推广到新的失真类型，这是以往基于学习的方法所无法实现的。