2 个月前

面向质量的图像-文本对齐用于无意见图像质量评估

Agnolucci, Lorenzo ; Galteri, Leonardo ; Bertini, Marco
面向质量的图像-文本对齐用于无意见图像质量评估
摘要

无参考图像质量评估(NR-IQA)专注于在没有高质量参考图像的情况下,设计方法以测量图像质量并与人类感知保持一致。大多数现有的先进 NR-IQA 方法都是意见感知型的,即它们需要人类注释来进行训练。这种依赖性限制了这些方法的可扩展性和广泛应用。为了克服这一局限,我们提出了一种基于 CLIP 的自监督且无需意见的方法——QualiCLIP(Quality-aware CLIP)。具体而言,我们引入了一种质量感知的图像-文本对齐策略,使 CLIP 能够生成质量感知的图像表示。从原始未受损图像出发,我们通过不断增加的强度对其进行合成降质处理。然后,我们训练 CLIP 根据其与质量相关的反义文本提示的相似度对这些降质图像进行排序。同时,我们强制 CLIP 为具有相似内容和相同降质水平的图像生成一致的表示。实验结果表明,所提出的方法在多种包含不同失真类型的数据库中优于现有的无需意见的方法。此外,尽管不需要人类注释,QualiCLIP 在跨数据库实验中仍表现出色,与监督式的意见感知方法相比具有显著的泛化能力。该代码和模型已在 https://github.com/miccunifi/QualiCLIP 公开发布。

面向质量的图像-文本对齐用于无意见图像质量评估 | 最新论文 | HyperAI超神经