HyperAIHyperAI

Command Palette

Search for a command to run...

Uformer : Un Transformers général en forme de U pour la restauration d'images

Zhendong Wang; Xiaodong Cun; Jianmin Bao; Wengang Zhou; Jianzhuang Liu; Houqiang Li

Résumé

Dans cet article, nous présentons Uformer, une architecture basée sur les Transformers efficace et performante pour la restauration d'images, dans laquelle nous construisons un réseau encodeur-décodeur hiérarchique en utilisant des blocs Transformer. Dans Uformer, deux conceptions clés sont mises en œuvre. Premièrement, nous introduisons un nouveau bloc Transformer à fenêtre localement améliorée (LeWin), qui effectue une auto-attention basée sur des fenêtres non chevauchantes au lieu d'une auto-attention globale. Cette approche réduit considérablement la complexité computationnelle sur les cartes de caractéristiques de haute résolution tout en capturant le contexte local. Deuxièmement, nous proposons un modulateur de restauration multi-échelle apprenable sous forme d'un biais spatial multi-échelle pour ajuster les caractéristiques dans plusieurs couches du décodeur Uformer. Notre modulateur montre une capacité supérieure à restaurer les détails pour diverses tâches de restauration d'images tout en introduisant des paramètres et des coûts computationnels marginaux supplémentaires. Grâce à ces deux conceptions, Uformer bénéficie d'une forte capacité à capturer à la fois les dépendances locales et globales pour la restauration d'images. Pour évaluer notre approche, de nombreuses expériences ont été menées sur plusieurs tâches de restauration d'images, notamment l'élimination du bruit, le défloutage de mouvement, le défloutage hors focus et la suppression de pluie. Sans recourir à des techniques compliquées ou superflues, notre Uformer atteint des performances supérieures ou comparables aux algorithmes les plus avancés actuellement disponibles. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/ZhendongWang6/Uformer.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp