« Zero-Shot » Super-Resolution à l'aide de l'Apprentissage Profond Interne

L'apprentissage profond (Deep Learning) a permis une avancée spectaculaire dans les performances de la sur-résolution (Super-Resolution, SR) ces dernières années. Cependant, étant supervisées, ces méthodes de SR sont limitées à des données d'entraînement spécifiques, où l'acquisition des images de faible résolution (Low-Resolution, LR) à partir de leurs contreparties de haute résolution (High-Resolution, HR) est préétablie (par exemple, réduction bicubique), sans artefacts perturbateurs (comme le bruit du capteur, la compression d'image, une fonction de répartition spatiale non idéale [PSF], etc.). Les images LR réelles obéissent rarement à ces restrictions, ce qui entraîne des résultats médiocres par les méthodes de pointe (State of the Art, SotA). Dans cet article, nous présentons la sur-résolution « Zero-Shot » SR, qui tire parti de la puissance de l'apprentissage profond mais ne repose pas sur un entraînement préalable. Nous exploitons la récurrence interne des informations au sein d'une seule image et entraînons un petit réseau neuronal convolutif (CNN) spécifique à l'image au moment du test, en utilisant uniquement des exemples extraits de l'image d'entrée elle-même. Ainsi, il peut s'adapter à différents contextes pour chaque image. Cela permet d'effectuer la sur-résolution de vieilles photos réelles, d'images bruitées, de données biologiques et d'autres images où le processus d'acquisition est inconnu ou non idéal. Sur ces images, notre méthode surpasses les méthodes SotA basées sur les CNN ainsi que les méthodes SR non supervisées précédentes. À notre connaissance, c'est la première méthode SR non supervisée basée sur les CNN.