Mask-ShadowGAN : Apprendre à supprimer les ombres à partir de données non appariées

Ce document présente une nouvelle méthode de suppression d'ombres utilisant des données non appariées, permettant d'éviter les annotations fastidieuses et d'obtenir des échantillons d'entraînement plus diversifiés. Cependant, l'utilisation directe de l'apprentissage antagoniste et des contraintes de cycle-consistance n'est pas suffisante pour apprendre la relation sous-jacente entre les domaines ombreux et sans ombre, car la correspondance entre les images avec ombres et sans ombres n'est pas simplement univoque. Pour résoudre ce problème, nous avons formulé Mask-ShadowGAN, un nouveau cadre profond qui apprend automatiquement à produire un masque d'ombre à partir de l'image d'entrée ombrée, puis utilise ce masque pour guider la génération d'ombres via des contraintes de cycle-consistance reformulées. Plus particulièrement, le cadre apprend simultanément à produire des masques d'ombre et à supprimer les ombres, afin de maximiser les performances globales. De plus, nous avons préparé un jeu de données non apparié pour la suppression d'ombres et démontré l'efficacité de Mask-ShadowGAN sur diverses expériences, même lorsqu'il a été entraîné sur des données non appariées.