Inpainting d'image libre-forme basé sur une attention globale et locale

Les méthodes basées sur l’apprentissage profond pour le remplissage d’images ont montré un potentiel significatif tant pour les trous rectangulaires que pour les trous irréguliers. Toutefois, le remplissage des trous irréguliers soulève de nombreux défis en raison des incertitudes liées à leurs formes et positions. En se basant uniquement sur les réseaux de neurones convolutifs (CNN) ou sur une supervision adversarielle, il n’est pas garanti d’obtenir des résultats de remplissage plausibles, car les trous irréguliers nécessitent une guidance basée sur l’attention afin de récupérer efficacement les informations nécessaires à la génération du contenu. Dans cet article, nous proposons deux nouveaux mécanismes d’attention : un module d’attention globale basé sur le prunage du masque, ainsi qu’un module d’attention globale et locale, permettant d’extraire des informations sur les dépendances globales et les similarités locales entre les caractéristiques, afin d’obtenir des résultats raffinés. La méthode proposée a été évaluée par rapport aux états de l’art actuels, et les résultats expérimentaux démontrent qu’elle surpasser les méthodes existantes tant sur les critères quantitatifs que qualitatifs.