HyperAIHyperAI

Command Palette

Search for a command to run...

Référence d’image à haute résolution avec transformateur d’attention déformable

Jiezhang Cao Jingyun Liang Kai Zhang Yawei Li Yulun Zhang* Wenguan Wang Luc Van Gool

Résumé

La super-résolution d'images basée sur une référence (RefSR) vise à exploiter des images de référence (Ref) auxiliaires pour améliorer la résolution des images à faible résolution (LR). Récemment, le RefSR a suscité un grand intérêt car il offre une alternative pour surpasser la super-résolution d'images uniques. Cependant, la résolution du problème RefSR présente deux défis critiques : (i) Il est difficile d'établir la correspondance entre les images LR et Ref lorsque celles-ci sont significativement différentes ; (ii) Le transfert des textures pertinentes des images Ref pour compenser les détails manquants dans les images LR est très complexe. Pour répondre à ces problèmes liés au RefSR, cet article propose un Transformers à attention déformable multi-échelles, nommé DATSR, composé de plusieurs échelles, chacune incluant un module d'encodeur de caractéristiques texturales (TFE), un module d'attention déformable basée sur une référence (RDA) et un module d'agrégation de caractéristiques résiduelles (RFA). Plus précisément, le TFE extrait en premier lieu des caractéristiques insensibles aux transformations d'image (par exemple, la luminosité) pour les images LR et Ref. Ensuite, le RDA peut exploiter plusieurs textures pertinentes pour enrichir davantage les caractéristiques LR. Enfin, le RFA agrège les caractéristiques LR et les textures pertinentes afin d'obtenir un résultat visuellement plus agréable. De nombreuses expériences montrent que notre DATSR atteint des performances de pointe sur des jeux de données de référence, tant quantitativement que qualitativement.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp