Génération d'images conditionnelle avec des décodeurs PixelCNN

Ce travail explore la génération d'images conditionnelle à l'aide d'un nouveau modèle de densité d'image basé sur l'architecture PixelCNN. Le modèle peut être conditionné par n'importe quel vecteur, y compris des étiquettes ou des balises descriptives, ou des plongements latents créés par d'autres réseaux. Lorsqu'il est conditionné par des étiquettes de classe provenant de la base de données ImageNet, le modèle est capable de générer des scènes variées et réalistes représentant différents animaux, objets, paysages et structures. Lorsqu'il est conditionné par un plongement produit par un réseau convolutif à partir d'une seule image d'un visage inconnu, il génère une variété de nouveaux portraits de la même personne avec différentes expressions faciales, poses et conditions d'éclairage. Nous montrons également que le PixelCNN conditionnel peut servir de décodeur puissant dans un autoencodeur d'image. De plus, les couches convolutives avec portes du modèle proposé améliorent la log-vraisemblance du PixelCNN pour atteindre les performances de pointe du PixelRNN sur ImageNet, tout en réduisant considérablement le coût computationnel.