Restormer : Transformers efficaces pour la restauration d'images en haute résolution

Étant donné que les réseaux neuronaux convolutifs (CNN) excellent à apprendre des a priori d'images généralisables à partir de données à grande échelle, ces modèles ont été largement appliqués à la restauration d'images et aux tâches connexes. Récemment, une autre classe d'architectures neuronales, les Transformers, a montré des gains de performance significatifs dans les tâches de traitement du langage naturel et de vision de haut niveau. Bien que le modèle Transformer atténue les faiblesses des CNN (c'est-à-dire un champ récepteur limité et une adaptabilité insuffisante au contenu d'entrée), sa complexité computationnelle augmente quadratiquement avec la résolution spatiale, ce qui rend son application impossible pour la plupart des tâches de restauration d'images impliquant des images haute résolution. Dans cette étude, nous proposons un modèle Transformer efficace en apportant plusieurs conceptions clés dans les blocs constitutifs (attention multi-têtes et réseau de neurones à propagation avant) afin qu'il puisse capturer les interactions entre pixels sur de longues distances tout en restant applicable aux grandes images. Notre modèle, nommé Restoration Transformer (Restormer), obtient des résultats d'état de l'art sur plusieurs tâches de restauration d'images, notamment la dépluie d'images, le déflouage de mouvement mono-image, le déflouage hors-focalisation (mono-image et données bicellulaires), et le débruitage d'images (débruitage gaussien en niveaux de gris/couleur et débruitage d'images réelles). Le code source et les modèles pré-entraînés sont disponibles à l'adresse suivante : https://github.com/swz30/Restormer.