Réseau de fusion progressive à plusieurs échelles pour le déraining d'image unique

Les traînées de pluie dans l’air apparaissent avec des degrés de flou et des résolutions variés en fonction de leur distance respective par rapport à l’appareil photo. Des motifs de pluie similaires sont visibles à la fois dans une image de pluie et dans ses versions multi-échelle (ou multi-résolution), ce qui permet d’exploiter ces informations complémentaires pour représenter efficacement les traînées de pluie. Dans ce travail, nous explorons une représentation collaborative multi-échelle des traînées de pluie sous l’angle des échelles d’entrée de l’image et des caractéristiques profondes hiérarchiques, dans un cadre unifié appelé réseau de fusion progressive multi-échelle (MSPFN) pour la suppression des traînées de pluie à partir d’une seule image. Pour des traînées de pluie similaires situées à des positions différentes, nous utilisons un calcul récurrent afin de capturer la texture globale, permettant ainsi d’explorer les informations complémentaires et redondantes selon la dimension spatiale afin de caractériser précisément les traînées cibles. Par ailleurs, nous concevons une structure pyramidale multi-échelle et introduisons une mécanique d’attention pour guider la fusion fine de ces informations corrélées provenant de différentes échelles. Cette stratégie progressive de fusion multi-échelle favorise non seulement une représentation coopérative améliorée, mais renforce également l’apprentissage end-to-end. La méthode proposée est largement évaluée sur plusieurs jeux de données de référence et obtient des résultats de pointe. En outre, nous menons des expériences sur des tâches conjointes de suppression de pluie, de détection et de segmentation, ouvrant ainsi une nouvelle voie de recherche dans le domaine de la suppression de pluie pilotée par des tâches visuelles. Le code source est disponible à l’adresse suivante : \url{https://github.com/kuihua/MSPFN}.