Nettoyer les Cieux : Une architecture de réseau profond pour l'élimination de la pluie dans une seule image

Nous présentons une architecture de réseau profond appelée DerainNet pour l'élimination des traînées de pluie d'une image. Basée sur le réseau neuronal convolutif profond (CNN), nous apprenons directement la relation de correspondance entre les couches de détails des images pluvieuses et des images nettes à partir des données. Comme nous ne disposons pas de la vérité terrain correspondant aux images réelles pluvieuses, nous synthétisons des images avec de la pluie pour l'entraînement. Contrairement à d'autres stratégies courantes qui augmentent la profondeur ou la largeur du réseau, nous utilisons les connaissances du domaine du traitement d'images pour modifier la fonction objectif et améliorer l'élimination de la pluie avec un CNN de taille modeste. Plus précisément, nous entraînons notre DerainNet sur la couche de détails (à passe-haut) plutôt que dans le domaine des images. Bien que DerainNet soit entraîné sur des données synthétiques, nous constatons que le réseau appris se traduit très efficacement sur les images réelles lors des tests. De plus, nous enrichissons le cadre CNN avec un renforcement d'image pour améliorer les résultats visuels. Comparé aux méthodes actuelles d'élimination de la pluie sur une seule image, notre méthode offre une meilleure suppression de la pluie et un temps de calcul beaucoup plus rapide après l'entraînement du réseau.