Fonctionnalités à attention profonde pour l’élimination de pluie à partir d’une seule image

La pluie est un phénomène météorologique courant, au cours duquel la visibilité des objets varie en fonction de leur profondeur par rapport à la caméra, les objets éloignés étant plus fortement obscurcis par le brouillard que par les traces de pluie. Les méthodes et les jeux de données existants pour la suppression de la pluie négligent toutefois ces propriétés physiques, ce qui limite leur efficacité dans le traitement des photos réelles. Dans ce travail, nous analysons d’abord les effets visuels de la pluie en fonction de la profondeur de la scène, puis formulons un modèle d’imagerie de pluie combinant explicitement les traînées de pluie et le brouillard. À partir de ce modèle, nous construisons un nouveau jeu de données appelé RainCityscapes, comprenant des traces de pluie et du brouillard sur des photos réelles prises en extérieur. Par ailleurs, nous concevons un réseau neuronal profond end-to-end, entraîné pour apprendre des caractéristiques attentives à la profondeur grâce à un mécanisme d’attention guidée par la profondeur, et pour estimer une carte de résidus afin de produire une image dépourvue de pluie. Nous menons diverses expériences visuelles et quantitatives afin de comparer notre méthode avec plusieurs approches de pointe, démontrant ainsi son avantage par rapport aux autres méthodes.