Inpainting d'images libre-forme avec convolution gérée

Nous présentons un système de génération d'images par complétion (inpainting) capable de remplir des images avec des masques libres et des guides. Ce système repose sur des convolutions gérées (gated convolutions) apprises à partir de millions d'images sans effort supplémentaire d'étiquetage. La convolution gérée proposée résout le problème des convolutions standard qui traitent tous les pixels d'entrée comme valides, en généralisant la convolution partielle grâce à un mécanisme de sélection dynamique de caractéristiques apprenable pour chaque canal à chaque position spatiale dans toutes les couches. De plus, étant donné que les masques libres peuvent apparaître n'importe où dans les images et prendre n'importe quelle forme, les GANs globaux et locaux conçus pour un seul masque rectangulaire ne sont pas applicables. Nous présentons donc également une perte GAN basée sur des patches, nommée SN-PatchGAN, en appliquant un discriminateur spectral normalisé sur des patches d'image denses. Le SN-PatchGAN est simple en formulation, rapide et stable lors de l'entraînement. Les résultats obtenus pour le complétion automatique d'images et l'extension guidée par l'utilisateur montrent que notre système génère des résultats de meilleure qualité et plus flexibles que les méthodes précédentes. Notre système aide l'utilisateur à supprimer rapidement les objets distrayants, modifier la disposition des images, effacer les filigranes et éditer les visages. Le code source, une démonstration et les modèles sont disponibles à l'adresse suivante : https://github.com/JiahuiYu/generative_inpainting