PieAPP : Évaluation des erreurs perceptuelles d'image par préférence paire

La capacité d'estimer l'erreur perceptive entre des images est un problème important en vision par ordinateur avec de nombreuses applications. Bien qu'il ait été largement étudié, aucune méthode actuelle ne peut prédire de manière robuste les différences visuelles comme le fait l'être humain. Certains approches précédentes utilisaient des modèles codés à la main, mais ils échouent à modéliser la complexité du système visuel humain. D'autres ont utilisé l'apprentissage automatique pour entraîner des modèles sur des jeux de données étiquetés par des humains, mais la création de grands jeux de données de haute qualité est difficile car les personnes ne peuvent pas attribuer des labels d'erreur cohérents aux images déformées. Dans cet article, nous présentons une nouvelle méthode basée sur l'apprentissage qui est la première à prédire l'erreur perceptive d'image comme le font les observateurs humains. Étant donné qu'il est beaucoup plus facile pour les gens de comparer deux images données et d'identifier celle qui est plus similaire à une référence que d'attribuer des scores de qualité à chacune, nous proposons un nouveau jeu de données à grande échelle étiqueté avec la probabilité que les humains préfèrent une image plutôt qu'une autre. Nous entraînons ensuite un modèle d'apprentissage profond en utilisant un cadre novateur d'apprentissage par paires pour prédire la préférence d'une image déformée par rapport à une autre. Notre observation clé est que notre réseau formé peut ensuite être utilisé séparément avec une seule image déformée et une référence pour prédire son erreur perceptive, sans jamais avoir été formé sur des labels explicites d'erreur perceptive humaine. L'erreur perceptive estimée par notre nouvelle métrique, PieAPP (Perceptual Image Error Assessment through Pairwise Preference)，est bien corrélée avec l'avis humain. De plus, elle dépasse considérablement les algorithmes existants, surpassant l'état de l'art presque trois fois en termes de taux d'erreur binaire sur notre ensemble de test, tout en généralisant également à de nouveaux types de distorsions, contrairement aux méthodes précédentes basées sur l'apprentissage.