MCW-Net : Dérainage d’image unique avec des connexions multi-niveaux et des blocs non locaux régionaux larges

Une série récente de travaux basés sur les réseaux de neurones convolutifs a réussi à capturer les traînées de pluie. Toutefois, des difficultés subsistent quant au rétablissement détaillé des textures d’arrière-plan originales. Dans cet article, nous proposons un réseau à connexion multi-niveaux et bloc non-local à large région (MCW-Net) afin de restaurer adéquatement les textures d’arrière-plan d’origine dans les images pluvieuses. Contrairement aux modèles existants de déraining par architecture encodeur-décodeur, qui améliorent leurs performances grâce à des branches supplémentaires, MCW-Net renforce les performances en maximisant l’utilisation des informations sans ajouter de branches, grâce à deux méthodes proposées. La première méthode consiste en une connexion multi-niveaux, qui établit des connexions répétées entre les caractéristiques de plusieurs niveaux du réseau encodeur et le réseau décodeur. Cette connexion multi-niveaux encourage le processus de décodage à exploiter les informations de caractéristiques de tous les niveaux. Dans ce cadre, une attention par canal est intégrée afin d’apprendre quel niveau de caractéristiques est le plus pertinent lors du décodage du niveau courant. La deuxième méthode est le bloc non-local à large région. Étant donné que les traînées de pluie présentent principalement une distribution verticale, nous divisons la grille de l’image en patches horizontalement larges et appliquons une opération non-local à chaque région afin d’explorer efficacement les informations riches de l’arrière-plan sans pluie. Les résultats expérimentaux sur des jeux de données synthétiques et réels montrent que le modèle proposé surpasse significativement les modèles d’état de l’art existants. En outre, les résultats de l’expérience conjointe de déraining et de segmentation démontrent que notre modèle contribue efficacement à d’autres tâches de vision par ordinateur.