摘要
在计算机视觉领域，对视觉内容感知的度量一直是一个长期存在的难题。尽管已有多种数学模型被提出以评估图像的外观或质量，但这些方法在量化噪声、模糊度等退化程度方面虽具有效性，其量化结果与人类语言描述之间仍缺乏紧密关联。当涉及图像“感觉”等更为抽象的感知维度时，现有方法通常依赖于经过人工用户研究标注数据显式训练的监督模型，而此类数据收集过程往往耗时且成本高昂。本文突破传统范式，探索对比语言-图像预训练（Contrastive Language-Image Pre-training, CLIP）模型中蕴含的丰富视觉语言先验，以实现对图像质量感知（外观）与抽象感知（感觉）的零样本评估。具体而言，我们提出了有效的提示（prompt）设计方法，并验证了一种高效的提示配对策略，以充分挖掘CLIP模型中的先验知识。此外，我们在受控数据集及图像质量评估（Image Quality Assessment, IQA）基准上开展了大量实验。实验结果表明，CLIP能够捕捉到具有语义意义的通用先验，且在不同感知评估任务中均展现出良好的泛化能力。相关代码已开源，地址为：https://github.com/IceClear/CLIP-IQA。