Amélioration de la Résolution d'Images par Transfert de Texture Neuronal

En raison de la perte importante d'information dans les images à faible résolution (LR), il est devenu extrêmement difficile d'améliorer davantage l'état de l'art de la super-résolution d'image unique (SISR). En revanche, la super-résolution basée sur une référence (RefSR) s'est avérée prometteuse pour récupérer des détails à haute résolution (HR) lorsque l'on dispose d'une image de référence (Ref) présentant un contenu similaire à celui de l'entrée LR. Cependant, la qualité du RefSR peut se détériorer considérablement lorsque la référence est moins similaire. Ce travail vise à exploiter le potentiel du RefSR en tirant parti de plus de détails texturaux des images Ref avec une robustesse accrue, même lorsqu'il est fourni des références non pertinentes. Inspirés par les travaux récents sur la stylisation d'images, nous formulons le problème du RefSR comme un transfert neuronal de texture. Nous concevons un modèle profond end-to-end qui enrichit les détails HR en transférant adaptivement la texture des images Ref selon leur similarité texturale. Au lieu de faire correspondre le contenu dans l'espace des pixels bruts comme le font les méthodes précédentes, notre contribution principale est une correspondance multiniveau effectuée dans l'espace neuronal. Ce schéma de correspondance facilite un transfert neuronal multiscale qui permet au modèle de bénéficier davantage des patchs Ref sémantiquement liés et de se dégrader progressivement vers les performances SISR sur les entrées Ref les moins pertinentes. Nous construisons un ensemble de données benchmark pour la recherche générale en RefSR, contenant des images Ref appariées avec des entrées LR présentant différents niveaux de similarité. Les évaluations quantitatives et qualitatives montrent toutes deux la supériorité de notre méthode par rapport aux états de l'art actuels.