Optimisation par alternance bout-en-bout pour la super-résolution aveugle

Les méthodes précédentes décomposent le problème de super-résolution aveugle (SR) en deux étapes séquentielles : i) l'estimation du noyau de flou à partir de l'image à faible résolution (LR) fournie, et ii) la restauration de l'image SR à partir du noyau estimé. Cette approche en deux étapes repose sur deux modèles entraînés indépendamment, qui peuvent présenter une incompatibilité importante. Une petite erreur d'estimation à la première étape peut entraîner une dégradation sévère des performances à la seconde. D'un autre côté, la première étape ne peut exploiter qu'une information limitée provenant de l'image LR, ce qui rend difficile la prédiction d'un noyau de flou hautement précis. Pour surmonter ces limitations, au lieu de traiter ces deux étapes de manière séparée, nous proposons une méthode d'optimisation alternée, capable d'estimer le noyau de flou et de restaurer l'image SR dans un seul modèle. Plus précisément, nous concevons deux modules réseaux de convolution, appelés Restorer et Estimator. Le module Restorer restaure l'image SR à partir du noyau prédit, tandis que le module Estimator estime le noyau de flou à l’aide de l’image SR restaurée. Ces deux modules sont alternés de manière itérative, et ce processus est déroulé (unfolded) pour former un réseau entraînable end-to-end. Ainsi, Estimator peut exploiter des informations provenant à la fois de l’image LR et de l’image SR restaurée, ce qui facilite significativement l’estimation du noyau de flou. Plus important encore, Restorer est entraîné avec le noyau estimé par Estimator, et non avec le noyau de référence (ground-truth), ce qui rend Restorer plus tolérant aux erreurs d’estimation de Estimator. Des expériences étendues sur des jeux de données synthétiques et des images du monde réel montrent que notre modèle dépasse largement les méthodes de pointe, tout en produisant des résultats visuellement préférables à une vitesse bien supérieure. Le code source est disponible à l’adresse suivante : \url{https://github.com/greatlog/DAN.git}.