Dépluie d'images uniques avec attention spatiale et un jeu de données réel de haute qualité

La suppression des traînées de pluie dans une seule image a suscité une attention considérable, car ces traînées peuvent fortement dégrader la qualité des images et affecter les performances des tâches de vision extérieure existantes. Bien que les méthodes récentes basées sur les CNN aient rapporté des performances prometteuses, la suppression de la pluie reste un problème ouvert pour deux raisons. Premièrement, les ensembles de données de pluie synthétisée existants ne présentent qu'une réalité limitée en termes de modélisation des caractéristiques réelles de la pluie, telles que sa forme, sa direction et son intensité. Deuxièmement, il n'existe pas de benchmarks publics permettant des comparaisons quantitatives sur des images réelles de pluie, ce qui rend l'évaluation actuelle moins objective. Le défi central est que les paires d'images réelles avec et sans pluie ne peuvent pas être capturées simultanément. Dans cet article, nous abordons le problème de la suppression de la pluie dans une seule image par deux approches. Premièrement, nous proposons une méthode semi-automatique qui intègre des a priori temporels et une supervision humaine pour générer une image propre de haute qualité à partir de chaque séquence d'entrée d'images réelles de pluie. En utilisant cette méthode, nous construisons un ensemble de données à grande échelle comprenant environ 29 500 paires d'images avec et sans pluie couvrant un large éventail de scènes naturelles sous la pluie. Deuxièmement, pour mieux couvrir la distribution stochastique des traînées de pluie réelles, nous proposons un nouveau réseau SPatial Attentive Network (SPANet) capable de supprimer les traînées de pluie selon une approche locale-à-globale. Des expériences approfondies montrent que notre réseau se compare favorablement aux méthodes les plus avancées actuellement disponibles pour la suppression de la pluie.