KBNet : Réseau de Base de Noyaux pour la Restauration d'Images

La manière dont l'information spatiale est agrégée joue un rôle essentiel dans la restauration d'images basée sur l'apprentissage. La plupart des réseaux CNN existants utilisent des noyaux de convolution statiques pour encoder l'information spatiale, ce qui ne permet pas une agrégation spatiale adaptative. Les architectures récentes basées sur les transformateurs parviennent à une agrégation spatiale adaptative, mais elles manquent des biais inductifs souhaitables des convolutions et nécessitent des coûts de calcul importants. Dans cet article, nous proposons un module d'attention aux bases de noyaux (KBA), qui introduit des bases de noyaux apprenables pour modéliser des motifs d'image représentatifs pour l'agrégation d'information spatiale. Différentes bases de noyaux sont entraînées pour modéliser différentes structures locales. À chaque emplacement spatial, elles sont fusionnées linéairement et de manière adaptative par des coefficients prédits au niveau des pixels pour obtenir les poids d'agrégation. Sur la base du module KBA, nous avons conçu un bloc de fusion de caractéristiques multi-axes (MFF) pour encoder et fusionner les caractéristiques canal-par-canal, invariantes spatiales et adaptatives aux pixels pour la restauration d'images. Notre modèle, nommé réseau à base de noyaux (KBNet), atteint des performances de pointe sur plus de dix benchmarks en matière de débruitage, dépluie et déséblurement d'images tout en nécessitant moins de coûts de calcul que les méthodes SOTA précédentes.