Suppression d'ombre par décomposition d'image ombrée

Nous proposons une nouvelle méthode d'apprentissage profond pour l'élimination des ombres. Inspirés par les modèles physiques de la formation des ombres, nous utilisons une transformation linéaire de l'éclairage pour modéliser les effets d'ombre dans l'image, ce qui permet d'exprimer l'image ombrée comme une combinaison de l'image sans ombre, des paramètres d'ombre et d'une couche de masquage. Nous utilisons deux réseaux profonds, nommés SP-Net et M-Net, pour prédire respectivement les paramètres d'ombre et le masque d'ombre. Ce système nous permet de supprimer les effets d'ombre sur les images. Nous entraînons et testons notre cadre sur le jeu de données le plus difficile en matière d'élimination des ombres (ISTD). Comparé à la méthode de pointe actuelle, notre modèle réalise une réduction de 40 % de l'erreur en termes d'erreur quadratique moyenne (RMSE) pour la zone ombrée, faisant passer la RMSE de 13,3 à 7,9. De plus, nous créons un jeu de données ISTD augmenté basé sur un système de décomposition d'image en modifiant les paramètres d'ombre pour générer de nouvelles images ombrées synthétiques. L'entraînement de notre modèle sur ce nouveau jeu de données ISTD augmenté réduit encore davantage la RMSE dans la zone ombrée à 7,4.