Référence d’image à haute résolution avec transformateur d’attention déformable

La super-résolution d'images basée sur une référence (RefSR) vise à exploiter des images de référence (Ref) auxiliaires pour améliorer la résolution des images à faible résolution (LR). Récemment, le RefSR a suscité un grand intérêt car il offre une alternative pour surpasser la super-résolution d'images uniques. Cependant, la résolution du problème RefSR présente deux défis critiques : (i) Il est difficile d'établir la correspondance entre les images LR et Ref lorsque celles-ci sont significativement différentes ; (ii) Le transfert des textures pertinentes des images Ref pour compenser les détails manquants dans les images LR est très complexe. Pour répondre à ces problèmes liés au RefSR, cet article propose un Transformers à attention déformable multi-échelles, nommé DATSR, composé de plusieurs échelles, chacune incluant un module d'encodeur de caractéristiques texturales (TFE), un module d'attention déformable basée sur une référence (RDA) et un module d'agrégation de caractéristiques résiduelles (RFA). Plus précisément, le TFE extrait en premier lieu des caractéristiques insensibles aux transformations d'image (par exemple, la luminosité) pour les images LR et Ref. Ensuite, le RDA peut exploiter plusieurs textures pertinentes pour enrichir davantage les caractéristiques LR. Enfin, le RFA agrège les caractéristiques LR et les textures pertinentes afin d'obtenir un résultat visuellement plus agréable. De nombreuses expériences montrent que notre DATSR atteint des performances de pointe sur des jeux de données de référence, tant quantitativement que qualitativement.