De Pixels à Images (PaQ-2-PiQ) : Cartographie de l’Espace Perceptif de la Qualité d’Image

La prédiction aveugle ou sans référence (NR) de la qualité perceptive des images constitue un problème difficile et non résolu, d'une importance capitale pour les industries médiatiques et de diffusion en continu, affectant des milliards de spectateurs chaque jour. Malheureusement, les modèles de prédiction NR couramment utilisés se comportent médiocrement sur des images déformées du monde réel. Afin de stimuler les progrès dans ce domaine, nous introduisons la base de données subjective la plus vaste (de loin) sur la qualité des images, comprenant environ 40 000 images déformées du monde réel et 120 000 patches, sur lesquels nous avons recueilli environ 4 millions d’évaluations humaines de qualité d’image. À l’aide de ces étiquettes de qualité d’image et de patch, nous avons développé des architectures profondes basées sur des régions, capables de produire des prédictions de qualité globale d’image de pointe ainsi que des cartes locales utiles de qualité d’image. Nos innovations incluent des architectures de prédiction de qualité d’image permettant des inférences à la fois globales vers locales et locales vers globales (via une boucle de rétroaction).