3 个月前

MANIQA:用于无参考图像质量评估的多维度注意力网络

Sidi Yang, Tianhe Wu, Shuwei Shi, Shanshan Lao, Yuan Gong, Mingdeng Cao, Jiahao Wang, Yujiu Yang
MANIQA:用于无参考图像质量评估的多维度注意力网络
摘要

无参考图像质量评估(No-Reference Image Quality Assessment, NR-IQA)旨在根据人类主观感知对图像的感知质量进行评估。然而,现有的NR-IQA方法在预测基于生成对抗网络(GAN)生成的失真图像质量分数方面仍远未达到理想效果。为此,本文提出一种多维度注意力网络——MANIQA(Multi-dimension Attention Network for no-reference Image Quality Assessment),以提升在GAN类失真图像上的评估性能。首先,通过视觉Transformer(ViT)提取图像特征;为进一步增强图像的全局与局部特征交互能力,我们设计了转置注意力模块(Transposed Attention Block, TAB)与尺度Swin Transformer模块(Scale Swin Transformer Block, SSTB)。其中,TAB在通道维度上引入注意力机制,SSTB则在空间维度上实现注意力建模。这两种模块以多维度方式协同作用,显著增强了图像不同区域之间的全局与局部交互能力。最后,采用双分支结构进行基于图像块权重的质量预测,根据每个图像块的得分权重综合计算最终质量分数。大量实验结果表明,MANIQA在四个标准数据集(LIVE、TID2013、CSIQ和KADID-10K)上均显著优于当前最先进的方法。此外,在NTIRE 2022感知图像质量评估挑战赛第二赛道(无参考图像质量评估)的最终测试阶段,本方法位列第一名。相关代码与模型已开源,可通过以下链接获取:https://github.com/IIGROUP/MANIQA。