Traitement d'images à l'aide d'un a priori GAN multi-code

Bien que les Réseaux de Neurones Antagonistes Génératifs (GANs) aient connu un succès notable dans la synthèse d'images, l'application de modèles de GAN formés au traitement d'images réelles reste un défi. Les méthodes précédentes inversent généralement une image cible vers l'espace latent soit par rétropropagation, soit en apprenant un encodeur supplémentaire. Cependant, les reconstructions obtenues par ces deux méthodes sont loin d'être idéales. Dans ce travail, nous proposons une nouvelle approche appelée mGANprior, visant à intégrer des GANs bien formés comme priori efficaces pour diverses tâches de traitement d'images. Plus précisément, nous utilisons plusieurs codes latents pour générer plusieurs cartes de caractéristiques à un certain niveau intermédiaire du générateur, puis nous les combinons avec une importance de canal adaptative pour recréer l'image d'entrée. Cette sur-paramétrisation de l'espace latent améliore considérablement la qualité de la reconstruction d'images, surpassant les concurrents existants. La reconstruction d'images à haute fidélité ainsi obtenue permet aux modèles de GAN formés d'être utilisés comme priori dans de nombreuses applications pratiques, telles que la colorisation d'images, la super-résolution, le remplissage d'images et la manipulation sémantique. Nous analysons également plus en détail les propriétés de la représentation couche par couche apprise par les modèles de GAN et éclaircissons quelles connaissances chaque couche est capable de représenter.