SwinIR : Restauration d'images à l'aide de Swin Transformer

La restauration d'images est un problème de vision de bas niveau de longue date, visant à restaurer des images de haute qualité à partir d'images de faible qualité (par exemple, des images réduites, bruitées et compressées). Bien que les méthodes actuelles de restauration d'images soient principalement basées sur les réseaux neuronaux convolutifs, peu d'essais ont été réalisés avec les Transformers, qui montrent des performances impressionnantes dans les tâches de vision de haut niveau. Dans cet article, nous proposons un modèle de référence robuste appelé SwinIR pour la restauration d'images, basé sur le Swin Transformer. Le SwinIR se compose de trois parties : l'extraction de caractéristiques superficielles, l'extraction de caractéristiques profondes et la reconstruction d'images de haute qualité. En particulier, le module d'extraction de caractéristiques profondes est constitué de plusieurs blocs résiduels du Swin Transformer (RSTB), chacun comprenant plusieurs couches du Swin Transformer ainsi qu'une connexion résiduelle. Nous menons des expériences sur trois tâches représentatives : la super-résolution d'images (y compris la super-résolution classique, légère et réelle), le débruitage d'images (y compris le débruitage d'images en niveaux de gris et en couleur) et la réduction des artefacts de compression JPEG. Les résultats expérimentaux montrent que le SwinIR surpassent les méthodes actuelles sur différentes tâches avec une amélioration allant jusqu'à 0,14~0,45 dB, tout en permettant une réduction du nombre total de paramètres pouvant atteindre jusqu'à 67%.