Évaluation sans référence de la qualité d'image par Transformers, classement relatif et auto-consistance

Le but de l’évaluation de la qualité d’image sans référence (NR-IQA) consiste à estimer la qualité perceptive d’une image en accord avec les évaluations subjectives, un problème complexe et non résolu en raison de l’absence de l’image de référence originale. Dans cet article, nous proposons un nouveau modèle pour aborder la tâche de NR-IQA en exploitant une approche hybride qui tire parti à la fois des réseaux de neurones convolutifs (CNN) et du mécanisme d’attention auto-attention des Transformers afin d’extraire à la fois des caractéristiques locales et non locales à partir de l’image d’entrée. Nous capturons les informations structurelles locales de l’image à l’aide des CNN, puis, afin de surmonter le biais de localité présent dans les caractéristiques extraites par les CNN et d’obtenir une représentation non locale de l’image, nous appliquons les Transformers aux caractéristiques extraites, en modélisant celles-ci comme une entrée séquentielle pour le modèle Transformer. En outre, afin d’améliorer la corrélation monotone entre les scores subjectifs et objectifs, nous utilisons les informations de distance relative entre les images au sein de chaque lot et imposons un classement relatif entre elles. Enfin, nous observons que les performances des modèles de NR-IQA se dégradent lorsqu’on applique des transformations équivariantes (par exemple, une symétrie horizontale) aux entrées. Par conséquent, nous proposons une méthode qui exploite la cohérence auto-entretenue comme source de supervision auto-supervisée afin d’améliorer la robustesse des modèles de NR-IQA. Plus précisément, nous imposons une cohérence auto-entretenue entre les sorties de notre modèle d’évaluation de qualité pour chaque image et son image transformée (par symétrie horizontale), afin d’exploiter l’information riche fournie par la supervision auto-entretenue et de réduire l’incertitude du modèle. Pour démontrer l’efficacité de notre approche, nous l’évaluons sur sept jeux de données standard d’IQA (à la fois synthétiques et authentiques), et montrons que notre modèle atteint des résultats de pointe sur diverses bases de données.