Amélioration de la résolution des images de faible qualité à l'aide du Swin Transformer basé sur une stratégie de connexion dense par intervalles

La méthode basée sur les Transformers a démontré des performances remarquables pour la sur-résolution d'images par rapport à la méthode basée sur les réseaux de neurones convolutifs (CNNs). Cependant, l'utilisation du mécanisme d'auto-attention comme dans SwinIR (Restauration d'Images Utilisant le Transformer Swin) nécessite une quantité importante de ressources de calcul, ce qui limite son application sur des plateformes à faible puissance de calcul. Pour améliorer la réutilisation des caractéristiques du modèle, cette recherche propose la Stratégie de Connexion Densément Intervallée, qui connecte différents blocs selon un nouvel algorithme conçu spécifiquement. Nous appliquons cette stratégie à SwinIR et présentons un nouveau modèle nommé SwinOIR (Restauration d'Images Objet Utilisant le Transformer Swin). Une étude d'ablation est menée pour démontrer l'effet positif de la Stratégie de Connexion Densément Intervallée sur les performances du modèle en matière de sur-résolution d'images. De plus, nous évaluons notre modèle sur divers ensembles de données de référence populaires et le comparons avec d'autres modèles légers de pointe (SOTA). Par exemple, SwinOIR obtient un PSNR de 26,62 dB pour la sur-résolution d'images avec un facteur d'échelle x4 sur l'ensemble de données Urban100, ce qui est 0,15 dB supérieur au modèle SOTA SwinIR. Pour les applications pratiques, cette étude applique la dernière version du modèle You Only Look Once (YOLOv8) et le modèle proposé pour effectuer la détection d'objets et la sur-résolution d'images réelles à partir d'images de faible qualité. Le code source de cette mise en œuvre est disponible publiquement sur https://github.com/Rubbbbbbbbby/SwinOIR.