Du génération d’ombre à la suppression d’ombre

Le retrait des ombres est une tâche de vision par ordinateur visant à restaurer le contenu des régions d’ombre dans une image. Bien que la plupart des méthodes récentes de retrait des ombres nécessitent des images sans ombres pour l’entraînement, une approche innovante proposée par Le et Samaras lors de l’ECCV 2020 s’affranchit de cette contrainte en utilisant comme échantillons d’entraînement des patches extraits d’images contenant des ombres, avec et sans ombres. Toutefois, la construction d’un grand nombre de tels patches non appariés reste laborieuse et chronophage. Dans ce travail, nous proposons un nouveau modèle, G2R-ShadowNet, qui exploite la génération d’ombres pour un apprentissage faiblement supervisé du retrait des ombres, en ne nécessitant pour l’entraînement qu’un ensemble d’images avec ombres et de leurs masques correspondants. Le modèle G2R-ShadowNet est composé de trois sous-réseaux : un pour la génération d’ombres, un pour le retrait des ombres, et un pour le raffinement, tous entraînés conjointement de manière end-to-end. En particulier, le sous-réseau de génération d’ombres transforme les régions non ombragées en régions ombragées, produisant ainsi des paires d’images appariées utiles à l’entraînement du sous-réseau de retrait des ombres. Des expériences étendues sur les jeux de données ISTD et Video Shadow Removal démontrent que le G2R-ShadowNet proposé atteint des performances compétitives par rapport aux méthodes de pointe actuelles, tout en surpassant la méthode basée sur les patches de Le et Samaras.