Exploration du potentiel des interactions entre canaux pour la restauration d'images

La restauration d’images vise à reconstruire une image claire à partir d’une observation dégradée. Les réseaux de neurones convolutifs ont atteint des performances prometteuses sur cette tâche. Récemment, l’intégration des architectures Transformer a permis des avancées significatives dans les performances de pointe, notamment grâce à leur capacité à modéliser des dépendances à longue portée. Toutefois, ces architectures profondes se concentrent principalement sur l’amélioration de l’apprentissage de représentations dans le domaine spatial, tout en négligeant l’importance des interactions entre canaux. Dans ce travail, nous explorons le potentiel des interactions entre canaux pour la restauration d’images, en proposant un mécanisme d’attention canal dual-domain. Plus précisément, l’attention canal dans le domaine spatial permet à chaque canal d’accumuler des signaux pertinents provenant des canaux voisins, sous la direction de poids dynamiques appris. Afin d’exploiter efficacement la différence significative en fréquence entre les paires d’images dégradées et propres, nous avons conçu une attention canal implicite dans le domaine fréquentiel, afin de faciliter l’intégration d’informations provenant de différentes fréquences. Des expériences étendues démontrent que le réseau proposé, nommé ChaIR, atteint des performances de pointe sur 13 jeux de données standard pour cinq tâches de restauration d’images, notamment la déhazage d’images, le déflouage par mouvement ou par défocalisation, la suppression de neige et la suppression de pluie.