Réseau de correspondance bijective pour l'élimination des ombres

Le retrait des ombres, dont l’objectif est de restaurer le fond dans les régions ombragées, est un problème particulièrement mal posé. La plupart des méthodes basées sur les réseaux de neurones profonds actuelles retirent les ombres de manière indépendante, en ne prenant en compte que le contenu des images appariées correspondantes, tout en négligeant presque complètement la supervision auxiliaire apportée par le processus de génération d’ombres. Dans ce travail, nous affirmons que le retrait et la génération d’ombres sont étroitement liés et peuvent fournir une supervision informative mutuelle. Plus précisément, nous proposons un nouveau réseau de cartographie bijective (BMNet), qui couple les procédés d’apprentissage du retrait et de la génération d’ombres dans un cadre unifié partageant les paramètres. Grâce à des contraintes bidirectionnelles cohérentes et à une optimisation synchrone des deux procédés, BMNet permet une récupération efficace des contenus réels du fond lors du processus de retrait d’ombres. En outre, à partir d’une analyse statistique effectuée sur des jeux de données réels, nous observons et confirmons que l’apparence des ombres varie selon les spectres de couleur, ce qui nous a conduit à concevoir un module de guidance couleur invariante aux ombres (SICGM). Ce module exploite explicitement les informations de couleur invariante aux ombres apprises afin de guider la restauration couleur par le réseau, réduisant ainsi davantage les biais de couleur. Des expériences menées sur les benchmarks représentatifs ISTD, ISTD+ et SRD montrent que notre réseau proposé surpassent la méthode de l’état de l’art [??] en performance de retrait d’ombres, tout en utilisant uniquement 0,25 % des paramètres du réseau et 6,25 % des opérations à virgule flottante (FLOPs).