Uformer : Un Transformers général en forme de U pour la restauration d'images

Dans cet article, nous présentons Uformer, une architecture basée sur les Transformers efficace et performante pour la restauration d'images, dans laquelle nous construisons un réseau encodeur-décodeur hiérarchique en utilisant des blocs Transformer. Dans Uformer, deux conceptions clés sont mises en œuvre. Premièrement, nous introduisons un nouveau bloc Transformer à fenêtre localement améliorée (LeWin), qui effectue une auto-attention basée sur des fenêtres non chevauchantes au lieu d'une auto-attention globale. Cette approche réduit considérablement la complexité computationnelle sur les cartes de caractéristiques de haute résolution tout en capturant le contexte local. Deuxièmement, nous proposons un modulateur de restauration multi-échelle apprenable sous forme d'un biais spatial multi-échelle pour ajuster les caractéristiques dans plusieurs couches du décodeur Uformer. Notre modulateur montre une capacité supérieure à restaurer les détails pour diverses tâches de restauration d'images tout en introduisant des paramètres et des coûts computationnels marginaux supplémentaires. Grâce à ces deux conceptions, Uformer bénéficie d'une forte capacité à capturer à la fois les dépendances locales et globales pour la restauration d'images. Pour évaluer notre approche, de nombreuses expériences ont été menées sur plusieurs tâches de restauration d'images, notamment l'élimination du bruit, le défloutage de mouvement, le défloutage hors focus et la suppression de pluie. Sans recourir à des techniques compliquées ou superflues, notre Uformer atteint des performances supérieures ou comparables aux algorithmes les plus avancés actuellement disponibles. Le code source et les modèles sont disponibles à l'adresse suivante : https://github.com/ZhendongWang6/Uformer.