CM-GAN : Imputation d’images avec un GAN à modulation en cascade et apprentissage sensible aux objets

Les méthodes récentes de remplissage d’images ont fait des progrès significatifs, mais peinent souvent à générer des structures d’image plausibles lorsqu’elles traitent de grands trous dans des images complexes. Cela s’explique en partie par le manque de structures de réseau efficaces capables de capturer à la fois les dépendances à longue portée et les sémantiques de haut niveau d’une image. Nous proposons CM-GAN, un nouveau design de réseau basé sur un générateur à modulation en cascade, composé d’un encodeur utilisant des blocs de convolution de Fourier pour extraire des représentations multi-échelles à partir de l’image d’entrée contenant des trous, et d’un décodeur à deux flux intégrant un bloc innovant de modulation globale-spatiale en cascade à chaque niveau d’échelle. Dans chaque bloc de décodeur, une modulation globale est d’abord appliquée pour réaliser une synthèse de structure grossière et sémantiquement consciente, suivie d’une modulation spatiale permettant d’ajuster davantage la carte de caractéristiques de manière adaptative spatiale. En outre, nous avons conçu un schéma d’apprentissage orienté vers les objets afin d’éviter que le réseau ne génère artificiellement de nouveaux objets à l’intérieur des trous, répondant ainsi aux exigences des tâches de suppression d’objets dans des scénarios du monde réel. Des expérimentations étendues démontrent que notre méthode surpasse de manière significative les approches existantes, tant sur le plan quantitatif que qualitatif. Pour plus d’informations, veuillez consulter la page du projet : \url{https://github.com/htzheng/CM-GAN-Inpainting}.