Estimation aveugle du noyau de super-résolution par une GAN interne

Les méthodes de super-résolution (SR) supposent généralement que l’image à faible résolution (LR) a été obtenue par décimation à partir d’une image à haute résolution (HR) inconnue via un noyau de décimation fixe et « idéal » (par exemple, une décimation bicubique). Or, cette hypothèse est rarement vérifiée dans les images LR réelles, contrairement aux jeux de données synthétiques utilisés pour la SR. Lorsque le noyau de décimation supposé s’écarte du vrai noyau, les performances des méthodes de SR déclinent considérablement. Cela a conduit au développement de la SR aveugle (Blind-SR), c’est-à-dire la super-résolution lorsque le noyau de décimation (« SR-kernel ») est inconnu. Il a été démontré par la suite que le vrai SR-kernel est celui qui maximise la récurrence des patches à travers les échelles de l’image LR. Dans cet article, nous montrons comment cette propriété puissante de récurrence à travers les échelles peut être exploitée grâce à l’apprentissage interne profond (Deep Internal Learning). Nous introduisons « KernelGAN », un GAN interne spécifique à l’image, qui s’entraîne exclusivement sur l’image LR de test au moment de l’évaluation, et apprend ainsi la distribution interne des patches de cette image. Son générateur est entraîné à produire une version décimée de l’image LR de test, de telle sorte que le discriminateur ne puisse pas distinguer la distribution des patches de l’image décimée de celle de l’image LR d’origine. Une fois entraîné, le générateur constitue l’opération de décimation avec le bon SR-kernel spécifique à l’image. KernelGAN est entièrement non supervisé, ne nécessite aucune donnée d’entraînement supplémentaire en dehors de l’image d’entrée elle-même, et permet d’obtenir des résultats de pointe en SR aveugle lorsqu’il est intégré à des algorithmes de SR existants.