Restauration progressive multi-étapes d’image

Les tâches de restauration d’images exigent un équilibre complexe entre les détails spatiaux et les informations contextuelles de haut niveau lors du processus de récupération. Dans cet article, nous proposons une nouvelle architecture synergique capable d’optimiser cet équilibre entre ces objectifs concurrents. Notre proposition principale repose sur une architecture en plusieurs étapes, qui apprend progressivement les fonctions de restauration à partir d’entrées dégradées, décomposant ainsi le processus global de récupération en étapes plus gérables. Plus précisément, notre modèle apprend d’abord des caractéristiques contextualisées à l’aide d’architectures encodeur-décodeur, puis les combine avec une branche à haute résolution qui préserve les informations locales. À chaque étape, nous introduisons une nouvelle conception adaptative par pixel, qui exploite une attention supervisée in-situ afin de réévaluer les caractéristiques locales. Un élément clé d’une telle architecture en plusieurs étapes réside dans l’échange d’informations entre les différentes étapes. À cet effet, nous proposons une approche à deux volets : les informations sont non seulement échangées séquentiellement des étapes précoces vers les étapes tardives, mais des connexions latérales entre les blocs de traitement des caractéristiques existent également afin d’éviter toute perte d’information. L’architecture multi-étapes ainsi étroitement interconnectée, nommée MPRNet, démontre des gains de performance significatifs sur dix jeux de données couvrant diverses tâches telles que la suppression de pluie, le déflouage et le débruitage. Le code source et les modèles pré-entraînés sont disponibles à l’adresse suivante : https://github.com/swz30/MPRNet.