U2-Former : Un Transformer en forme de U imbriquée pour la restauration d’images

Bien que le modèle Transformer ait atteint des performances remarquables dans diverses tâches de vision haute niveau, il reste difficile d’exploiter pleinement son potentiel dans le domaine du restauration d’images. Le principal défi provient de la profondeur limitée d’application du Transformer dans les architectures classiques encodeur-décodeur pour la restauration d’images, en raison de la charge computationnelle importante liée à l’attention auto-associative et de la communication inefficace entre les différentes profondeurs (échelles) des couches. Dans cet article, nous proposons un réseau Transformer profond et efficace pour la restauration d’images, nommé U2-Former, qui permet d’utiliser le Transformer comme opération centrale afin de réaliser la restauration d’images dans un espace d’encodage et de décodage profond. Plus précisément, il exploite une structure en U imbriquée pour faciliter les interactions entre les couches à différentes échelles de cartes de caractéristiques. En outre, nous améliorons l’efficacité computationnelle du bloc Transformer de base en introduisant un mécanisme de filtrage des caractéristiques afin de compresser la représentation des tokens. En plus des modes de supervision classiques pour la restauration d’images, notre U2-Former met également en œuvre un apprentissage contrastif sur plusieurs aspects afin de mieux délier le composant bruit du fond de l’image. Des expériences étendues sur diverses tâches de restauration d’images — notamment l’élimination des reflets, la suppression des traînées de pluie et le débrouillardage — démontrent l’efficacité du U2-Former proposé.