Réseau Omni-Kernel pour la restauration d'images

La restauration d’image vise à reconstruire une image de haute qualité à partir d’une observation dégradée de faible qualité. Récemment, les modèles Transformer ont atteint des performances prometteuses sur les tâches de restauration d’image grâce à leur capacité remarquable à modéliser les dépendances à longue portée. Toutefois, leur complexité croissante de manière quadratique par rapport à la taille d’entrée les rend inapplicables aux applications pratiques. Dans ce travail, nous proposons un réseau convolutif efficace pour la restauration d’image en améliorant l’apprentissage de représentations multi-échelles. Pour cela, nous introduisons un module omni-noyau composé de trois branches : une branche globale, une branche large et une branche locale, permettant d’apprendre efficacement des représentations de caractéristiques allant du global au local. Plus précisément, la branche globale atteint un champ de perception global grâce à un mécanisme d’attention canal dual-domain et une porte fréquentielle. Par ailleurs, pour offrir des champs de perception multi-grains, la branche large est formulée à l’aide de convolutions depth-wise de différentes formes et de tailles de noyau inhabituellement grandes. En outre, nous complétons l’information locale à l’aide d’une convolution depth-wise ponctuelle. Enfin, le réseau proposé, nommé OKNet, est construit en intégrant le module omni-noyau dans une position d’embout pour garantir l’efficacité. Des expériences étendues démontrent que notre réseau atteint des performances de pointe sur 11 jeux de données de référence pour trois tâches représentatives de restauration d’image, à savoir la débroussailleuse d’image, la déneigeuse d’image et la déflouage de flou de mise au point. Le code source est disponible à l’adresse suivante : https://github.com/c-yn/OKNet.