Génération d'images humaines basée sur la pose à l'aide de GANs déformables

Dans cet article, nous abordons le problème de la génération d'images de personnes conditionnées à une posture donnée. Plus précisément, étant donné une image d'une personne et une posture cible, nous synthétisons une nouvelle image de cette personne dans la nouvelle posture. Pour traiter les désalignements pixel par pixel causés par les différences de posture, nous introduisons des connexions sauteuses déformables dans le générateur de notre réseau génératif adversarial (Generative Adversarial Network). De plus, nous proposons une perte basée sur le voisin le plus proche au lieu des pertes L1 et L2 couramment utilisées, afin d'assurer un meilleur ajustement des détails de l'image générée avec ceux de l'image cible. Nous testons notre approche en utilisant des photos de personnes dans différentes postures et nous comparons notre méthode aux travaux antérieurs dans ce domaine, montrant des résultats d'avant-garde sur deux benchmarks. Notre méthode peut être appliquée au champ plus large de la génération d'objets déformables, à condition que la posture de l'objet articulé puisse être extraite à l'aide d'un détecteur de points clés.