Re-IQA : Apprentissage non supervisé pour l’évaluation de la qualité d’image dans le monde réel

L’évaluation automatique de la qualité perceptuelle des images constitue un problème complexe ayant une incidence quotidienne sur des milliards d’utilisateurs d’internet et de réseaux sociaux. Pour faire avancer la recherche dans ce domaine, nous proposons une approche de type Mixture of Experts afin d’entraîner deux encodeurs distincts dans un cadre non supervisé, afin qu’ils apprennent respectivement des caractéristiques de haut niveau liées au contenu image et des caractéristiques de bas niveau liées à la qualité de l’image. La particularité de notre méthode réside dans sa capacité à générer des représentations de bas niveau de la qualité d’image qui s’avèrent complémentaires aux caractéristiques de haut niveau décrivant le contenu visuel. Nous désignons le cadre d’entraînement des deux encodeurs par le nom de Re-IQA. Pour l’évaluation de la qualité d’image dans des conditions réelles (in the wild), nous exploitons les représentations complémentaires de bas et de haut niveau obtenues via le cadre Re-IQA afin d’entraîner un modèle de régression linéaire, qui sert à mapper les représentations d’image aux scores de qualité réels (voir Figure 1). Notre méthode atteint des performances de pointe sur plusieurs bases de données à grande échelle d’évaluation de la qualité d’image, incluant à la fois des distorsions réelles et synthétiques, démontrant ainsi la faisabilité d’entraîner des réseaux neuronaux profonds dans un cadre non supervisé afin de produire des représentations pertinentes du point de vue perceptuel. Nos expériences montrent clairement que les caractéristiques de bas et de haut niveau obtenues sont effectivement complémentaires et contribuent positivement à la performance du modèle de régression linéaire. Une version publique de tous les codes associés à ce travail sera prochainement mise à disposition sur GitHub.