Réseaux de Génération Adversariaux Conditionnels Empilés pour l'Apprentissage Conjoints de la Détection et de la Suppression d'Ombres
La compréhension des ombres à partir d'une seule image s'est spontanément divisée en deux types de tâches dans les études précédentes, à savoir la détection d'ombres et l'élimination d'ombres. Dans cet article, nous présentons une perspective multi-tâche, qui n'a pas encore été adoptée par aucun travail existant, visant à apprendre conjointement la détection et l'élimination d'ombres de manière bout-en-bout afin de tirer parti des avantages mutuels de ces deux processus. Notre cadre repose sur un nouveau réseau génératif adversarial conditionnel empilé (ST-CGAN), composé de deux réseaux CGAN empilés, chacun doté d'un générateur et d'un discriminateur. Plus précisément, une image contenant des ombres est introduite dans le premier générateur qui produit un masque de détection d'ombres. Cette image ombragée, concaténée avec son masque prédit, est ensuite traitée par le deuxième générateur pour récupérer l'image sans ombre. De plus, les deux discriminators respectifs sont susceptibles de modéliser des relations de niveau supérieur et des caractéristiques globales de la scène pour la région détectée ombragée et la reconstruction par élimination des ombres. Plus important encore, pour l'apprentissage multi-tâche, notre conception du paradigme empilé offre une nouvelle perspective notablement différente de celle couramment utilisée dans les versions multi-branche. Pour évaluer pleinement les performances de notre cadre proposé, nous avons construit le premier benchmark à grande échelle comprenant 1870 triplets d'images (image ombragée, image du masque d'ombre et image sans ombre) sous 135 scènes différentes. Les résultats expérimentaux étendus montrent constamment les avantages du ST-CGAN par rapport à plusieurs méthodes représentatives de l'état de l'art sur deux jeux de données publics à grande échelle et sur notre nouveau jeu de données.注释：- "multi-branch version" 翻译为 "versions multi-branche"。- "shadow-free image" 翻译为 "image sans ombre"。- "shadow detection mask" 翻译为 "masque de détection d'ombres"。