Réseaux antagonistes génératifs à raisonnement sur graphe biparti pour la génération d'images de personnes

Nous présentons un nouveau modèle GAN à raisonnement sur graphe biparti (BiGraphGAN) pour la tâche difficile de génération d’images de personnes. Le générateur graphique proposé repose principalement sur deux blocs innovants visant à modéliser respectivement les relations entre poses et les relations entre poses et images. Plus précisément, le bloc de raisonnement sur graphe biparti (BGR) vise à raisonner les relations à longue portée croisées entre la pose source et la pose cible au sein d’un graphe biparti, ce qui atténue certaines difficultés liées à la déformation de pose. En outre, nous proposons un nouveau bloc Interaction-and-Aggregation (IA) pour mettre à jour efficacement et renforcer de manière interactive la capacité de représentation des caractéristiques liées à la forme et à l’apparence de la personne. Des expériences menées sur deux jeux de données publics et exigeants, à savoir Market-1501 et DeepFashion, démontrent l’efficacité du BiGraphGAN proposé en termes de scores quantitatifs objectifs et de réalisme visuel subjectif. Le code source et les modèles entraînés sont disponibles à l’adresse suivante : https://github.com/Ha0Tang/BiGraphGAN.