Synthèse contrôlable d’images de personnes avec un GAN décomposé par attributs

Cet article présente le modèle GAN à décomposition d’attributs (Attribute-Decomposed GAN), un nouveau modèle génératif pour la synthèse contrôlée d’images de personnes, capable de produire des images réalistes de personnes en fonction d’attributs humains souhaités (par exemple, posture, tête, vêtements supérieurs et pantalons), fournis sous diverses formes d’entrée. L’idée centrale du modèle proposé consiste à intégrer les attributs humains dans l’espace latent sous forme de codes indépendants, permettant ainsi un contrôle flexible et continu des attributs grâce à des opérations de mélange et d’interpolation effectuées sur des représentations explicites de style. Plus précisément, une nouvelle architecture composée de deux voies d’encodage reliées par des blocs de style est proposée afin de décomposer la tâche initiale difficile en plusieurs sous-tâches plus accessibles. Dans la voie d’entrée, nous extrayons par ailleurs les dispositions des composants à l’aide d’un parseur humain existant (off-the-shelf) et les alimentons dans un encodeur partagé de texture globale afin d’obtenir des codes latents décomposés. Cette stratégie permet de générer des images de sortie plus réalistes et d’assurer automatiquement la séparation des attributs non annotés. Les résultats expérimentaux démontrent l’avantage du modèle proposé par rapport aux méthodes de pointe en transfert de posture, ainsi que son efficacité sur une tâche nouvelle : le transfert d’attributs par composants.