Estimation du noyau au niveau des pixels pour la super-résolution aveugle

Au cours des dernières années, les modèles fondés sur l’apprentissage profond ont connu un succès notable dans le domaine de la super-résolution (SR). La majorité de ces travaux supposent que les images à faible résolution (LR) sont « uniformément » dégradées à partir de leurs images correspondantes à haute résolution (HR) à l’aide de noyaux de flou prédéfinis — c’est-à-dire que toutes les régions d’une image subissent le même processus de dégradation. En s’appuyant sur cette hypothèse, plusieurs approches ont été proposées pour estimer le noyau de flou d’une image LR donnée, car des a priori corrects sur le noyau s’avèrent bénéfiques pour la super-résolution. Toutefois, il est bien établi que les noyaux de flou présents dans les images réelles sont non uniformes (variant spatialement), tandis que les algorithmes actuels d’estimation de noyau opèrent majoritairement au niveau de l’image entière, en estimant un seul noyau par image. Ces méthodes se révèlent inévitablement sous-optimales lorsqu’elles sont appliquées à des scénarios où la dégradation est non uniforme. Une approche de type « diviser pour régner », consistant à découper l’image en plusieurs patches afin d’estimer individuellement les noyaux et de réaliser la super-résolution sur chacun d’eux, pourrait sembler une solution simple à ce problème. Toutefois, cette approche échoue en pratique. Dans cet article, nous abordons ce problème par une estimation du noyau au niveau pixel. Les trois composantes principales pour former un cadre de SR basé sur une estimation du noyau au niveau pixel sont les suivantes : Kernel Collage — une méthode de synthèse d’images LR dégradées de manière non uniforme, conçue en tenant compte de la cohérence des noyaux entre régions voisines tout en permettant des changements brusques, une perte indirecte — une nouvelle fonction de perte pour entraîner l’estimateur de noyau, fondée sur la perte de reconstruction, et une optimisation additionnelle — un schéma visant à rendre le réseau de super-résolution robuste aux petites erreurs d’estimation du noyau. Des expérimentations étendues démontrent l’avantage de l’estimation du noyau au niveau pixel dans les cas de super-résolution aveugle, surpassant les méthodes de pointe en termes de résultats quantitatifs et qualitatifs.