Détection de la densité pour le dépluie d'une seule image à l'aide d'un réseau dense multi-flux

La suppression des traînées de pluie à partir d'une seule image est un problème extrêmement complexe en raison de la présence de densités de pluie non uniformes dans les images. Nous présentons un nouvel algorithme basé sur un réseau neuronal convolutif multi-flux dense et sensible à la densité, appelé DID-MDN (Density-aware Image De-raining Multi-Stream Dense Network), pour l'estimation conjointe de la densité de pluie et la suppression de celle-ci. La méthode proposée permet au réseau lui-même de déterminer automatiquement les informations sur la densité de pluie, puis d'effacer efficacement les traînées correspondantes guidées par l'étiquette de densité estimée. Pour mieux caractériser les traînées de pluie avec différentes échelles et formes, un réseau neuronal multi-flux dense pour la suppression de la pluie est proposé, qui utilise efficacement les caractéristiques provenant de différentes échelles. De plus, un nouveau jeu de données contenant des images étiquetées par leur densité de pluie a été créé et utilisé pour entraîner le réseau sensible à la densité proposé. Des expériences approfondies sur des jeux de données synthétiques et réels montrent que la méthode proposée réalise des améliorations significatives par rapport aux méthodes les plus récentes d'avant-garde. En outre, une étude ablationnelle a été réalisée pour démontrer les améliorations obtenues par différents modules dans la méthode proposée. Le code peut être trouvé à : https://github.com/hezhangsprinter