XingGAN pour la génération d'images de personnes

Nous proposons un nouveau réseau génératif adversaire (XingGAN ou CrossingGAN) destiné aux tâches de génération d’images de personnes, c’est-à-dire la transformation de la posture d’une personne donnée vers une posture souhaitée. Le générateur Xing proposé comporte deux branches de génération, chacune modélisant respectivement l’apparence et la forme de la personne. En outre, nous introduisons deux nouveaux blocs permettant de transférer et de mettre à jour efficacement les embeddings de forme et d’apparence de la personne de manière croisée, afin qu’ils s’améliorent mutuellement — une approche qui n’a pas été envisagée dans les travaux existants basés sur les GAN pour la génération d’images. Des expériences étendues sur deux jeux de données exigeants, à savoir Market-1501 et DeepFashion, démontrent que le XingGAN proposé atteint des performances supérieures à l’état de l’art, tant en termes de scores quantitatifs objectifs que de réalisme visuel subjectif. Le code source et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/Ha0Tang/XingGAN.