Génération d'images de personnes désentrelacées

La génération d'images de personnes à la fois nouvelles et réalistes est une tâche complexe en raison de l'interaction subtile entre les différents facteurs d'image, tels que le premier plan, l'arrière-plan et les informations sur la posture. Dans cette étude, nous proposons un pipeline de reconstruction en deux étapes qui apprend une représentation dissociée des facteurs d'image mentionnés et génère simultanément de nouvelles images de personnes. Premièrement, un réseau de reconstruction multi-branches est proposé pour dissocier et encoder ces trois facteurs en caractéristiques d'embedding, qui sont ensuite combinées pour recomposer l'image d'entrée elle-même. Deuxièmement, trois fonctions de mappage correspondantes sont apprises de manière antagoniste afin de mapper le bruit gaussien vers l'espace des caractéristiques d'embedding apprises, pour chaque facteur respectivement. Grâce à ce cadre proposé, il est possible de manipuler le premier plan, l'arrière-plan et la posture de l'image d'entrée, ainsi que d'échantillonner de nouvelles caractéristiques d'embedding pour générer ces manipulations ciblées, offrant ainsi plus de contrôle sur le processus de génération. Les expériences menées sur les jeux de données Market-1501 et Deepfashion montrent que notre modèle non seulement génère des images réalistes de personnes avec de nouveaux premiers plans, arrière-plans et postures, mais aussi manipule les facteurs générés et interpole les états intermédiaires. Une autre série d'expériences sur Market-1501 démontre également que notre modèle peut être bénéfique pour la tâche de réidentification des personnes.