Suppression des gouttes de pluie et des stries de pluie en un seul passage

Les algorithmes existants de suppression de pluie traitent souvent soit la suppression des stries de pluie, soit celle des gouttes de pluie, ce qui les rend souvent inaptes à traiter efficacement des scènes pluvieuses réelles. Par ailleurs, le manque de jeux de données réels dépourvus de pluie, comprenant divers types de pluie et leurs vérités terrain correspondantes, freine également le développement des algorithmes de suppression de pluie. Dans cet article, nous nous proposons de résoudre les problèmes de suppression de pluie dans des scènes réelles sous deux angles. Premièrement, nous proposons une architecture de réseau en cascade complémentaire, nommée CCN, capable de supprimer à la fois les stries et les gouttes de pluie dans un cadre unifié. Plus précisément, notre CCN effectue la suppression des gouttes puis des stries, ou inversement, selon une approche complémentaire, avant de fusionner les résultats à l’aide d’un module de fusion basé sur l’attention. Étant donné les différences importantes en forme et en structure entre les stries et les gouttes de pluie, il est difficile de concevoir manuellement un réseau sophistiqué pour les supprimer efficacement. Nous recourons donc à une recherche architecturale neuronale (Neural Architecture Search) afin d’identifier de manière adaptative les architectures optimales au sein d’un espace de recherche spécifié pour la suppression de pluie. Deuxièmement, nous introduisons un nouveau jeu de données réel de pluie, baptisé RainDS, afin de favoriser le développement des algorithmes de suppression de pluie dans des scénarios pratiques. RainDS comprend des images de pluie de différents types et leurs vérités terrain correspondantes, incluant des scènes avec uniquement des stries, uniquement des gouttes, ou les deux simultanément. Des expérimentations étendues sur des benchmarks existants ainsi que sur RainDS démontrent que notre méthode surpasser l’état de l’art.