Les attentions aident les CNN à mieux voir : réseau hybride d'évaluation de la qualité d'image basé sur l'attention

L'algorithme d'évaluation de la qualité d'image (IQA) vise à quantifier la perception humaine de la qualité d'une image. Malheureusement, une dégradation des performances est observée lors de l'évaluation d'images déformées générées par des réseaux antagonistes génératifs (GAN), même lorsqu'elles présentent des textures apparemment réalistes. Dans ce travail, nous supposons que cette mauvaise adaptation provient de l'architecture fondamentale des modèles IQA, où les méthodes basées sur des patches traitent chaque patch d'image de manière indépendante pour calculer séparément leurs scores, sans modéliser les relations spatiales entre les patches. Ainsi, nous proposons un réseau d'évaluation hybride basé sur l'attention pour la qualité d'image (AHIQ), afin de relever ce défi et d'obtenir de meilleures performances sur la tâche IQA basée sur les GAN. Premièrement, nous adoptons une architecture à deux branches, comprenant une branche vision transformer (ViT) et une branche réseau de neurones convolutifs (CNN) pour l'extraction de caractéristiques. L'architecture hybride combine les informations d'interaction entre les patches capturées par le ViT et les détails locaux de texture fournis par la CNN. Pour orienter les caractéristiques issues de la CNN de profondeur faible vers les régions visuellement saillantes, nous appliquons une convolution déformable, guidée par les informations sémantiques provenant de la branche ViT. Enfin, nous utilisons un module de prédiction de score par patch pour obtenir le score final. Les expériences montrent que notre modèle surpasse les méthodes de pointe sur quatre jeux de données standards d'IQA, et que AHIQ obtient la première place sur la piste Full Reference (FR) du défi NTIRE 2022 sur l'évaluation de la qualité perceptive des images.