Vers le retrait d’ombres sans fantômes grâce à un réseau de regroupement hiérarchique dual et à un GAN de matting d’ombres

Le retrait des ombres est une tâche essentielle pour la compréhension des scènes. De nombreuses études se concentrent uniquement sur l’alignement du contenu des images, ce qui entraîne fréquemment deux types de fantômes : des incohérences de couleur dans les régions ombragées ou des artefacts aux frontières des ombres. Dans cet article, nous abordons ces problèmes de deux manières. Premièrement, afin d’apprendre de manière précise une image dépourvue d’artefacts aux frontières, nous proposons une nouvelle architecture de réseau appelée réseau de regroupement hiérarchique dual (Dual Hierarchically Aggregation Network, DHAN). Ce réseau repose sur une série de convolutions dilatées croissantes comme cœur de traitement, sans aucune opération de downsampling, et aggrège hiérarchiquement des caractéristiques multi-contextuelles pour l’attention et la prédiction, respectivement. Deuxièmement, nous affirmons que l’entraînement sur un jeu de données limité restreint la capacité du réseau à comprendre les textures, ce qui entraîne des incohérences de couleur dans les régions ombragées. Actuellement, le plus grand jeu de données contient plus de 2 000 paires d’images avec/ sans ombre. Toutefois, il ne comprend que plus de 100 scènes uniques, car de nombreux échantillons partagent exactement le même arrière-plan, avec seulement des positions d’ombre différentes. Ainsi, nous concevons un réseau adversarial génératif pour le masquage des ombres (Shadow Matting Generative Adversarial Network, SMGAN), capable de synthétiser des masques d’ombres réalistes à partir d’un masque d’ombre donné et d’une image sans ombre. Grâce à des masques ou scènes nouveaux, nous enrichissons les jeux de données existants en intégrant des images d’ombres synthétisées. Les expériences montrent que notre DHAN parvient à supprimer efficacement les ombres et à produire des images de haute qualité dépourvues de fantômes. Après entraînement sur des données synthétisées et réelles, notre réseau surpassent largement les méthodes de pointe actuelles. Le code est disponible à l’adresse : http://github.com/vinthony/ghost-free-shadow-removal/