MUSIQ : Transformateur de Qualité d’Image Multi-Échelle

L’évaluation de la qualité d’image (IQA) est un domaine de recherche crucial pour comprendre et améliorer l’expérience visuelle. Les méthodes d’IQA les plus avancées actuellement reposent sur des réseaux de neurones convolutifs (CNN). Toutefois, les performances des modèles basés sur les CNN sont souvent compromises par la contrainte de forme fixe imposée lors de l’entraînement par lots. Afin de contourner ce problème, les images d’entrée sont généralement redimensionnées et découpées selon une forme fixe, ce qui entraîne une dégradation de la qualité de l’image. Pour surmonter cet inconvénient, nous proposons MUSIQ (Multi-scale image quality Transformer), un modèle basé sur une architecture Transformer capable de traiter des images à leur résolution native, quel que soit leur format ou leur rapport d’aspect. Grâce à une représentation multi-échelle, notre méthode permet de capturer la qualité d’image à différentes granularités. En outre, nous introduisons un nouvel embedding spatial 2D basé sur des hachages ainsi qu’un embedding d’échelle, afin de soutenir l’embedding de position dans la représentation multi-échelle. Les résultats expérimentaux démontrent que notre méthode atteint des performances de pointe sur plusieurs grands jeux de données d’IQA, notamment PaQ-2-PiQ, SPAQ et KonIQ-10k.