Évaluation de la Qualité d'Image : Unification de la Similarité Structurelle et Texturale

Les mesures objectives de qualité d’image fonctionnent généralement en comparant les pixels d’une image « dégradée » à ceux de l’image originale. Par rapport aux observateurs humains, ces mesures sont excessivement sensibles au rééchantillonnage des régions texturées (par exemple, le remplacement d’un patch d’herbe par un autre). Dans ce travail, nous proposons le premier modèle de qualité d’image à référence complète intégrant une tolérance explicite au rééchantillonnage textural. À l’aide d’un réseau de neurones convolutif, nous construisons une fonction injective et différentiable qui transforme les images en représentations multi-échelles surcomplètes. Nous démontrons empiriquement que les moyennes spatiales des cartes de caractéristiques dans cette représentation captent l’apparence texturée, au sens où elles fournissent un ensemble de contraintes statistiques suffisantes pour synthétiser une large variété de motifs texturés. Nous décrivons ensuite une méthode de qualité d’image combinant les corrélations de ces moyennes spatiales (« similarité texturée ») avec celles des cartes de caractéristiques (« similarité structurelle »). Les paramètres de cette mesure sont optimisés conjointement pour correspondre aux évaluations humaines de qualité, tout en minimisant les distances rapportées entre sous-images découpées à partir des mêmes images texturées. Des expériences montrent que la méthode optimisée explique efficacement les scores perçus humains, tant sur des bases de données classiques de qualité d’image que sur des bases de données texturées. La mesure obtient également des performances compétitives sur des tâches connexes telles que la classification et la recherche de textures. Enfin, nous montrons que notre méthode est relativement insensible aux transformations géométriques (par exemple, translation et dilatation), sans nécessiter d’entraînement spécialisé ni d’augmentation de données. Le code est disponible à l’adresse suivante : https://github.com/dingkeyan93/DISTS.