Command Palette
Search for a command to run...
Génération d'images de personnes désentrelacées
Génération d'images de personnes désentrelacées
Résumé
La génération d’images novatrices, mais toutefois réalistes, de personnes constitue une tâche complexe en raison de l’interaction complexe entre les différents facteurs d’image, tels que le premier plan, le fond et les informations de posture. Dans ce travail, nous visons à générer de telles images à l’aide d’un nouveau pipeline de reconstruction en deux étapes, qui apprend une représentation désentrelacée des facteurs d’image mentionnés tout en générant simultanément de nouvelles images de personnes. Premièrement, nous proposons un réseau de reconstruction à plusieurs branches afin de désentrelacer et encoder les trois facteurs en caractéristiques d’embedding, qui sont ensuite combinées pour reconstruire l’image d’entrée elle-même. Deuxièmement, trois fonctions de transformation correspondantes sont apprises de manière adversaire afin de mapper le bruit gaussien vers l’espace de caractéristiques d’embedding apprises, chacune pour un facteur particulier. Grâce au cadre proposé, il devient possible de manipuler le premier plan, le fond et la posture de l’image d’entrée, ainsi que d’échantillonner de nouvelles caractéristiques d’embedding afin de générer des manipulations ciblées, offrant ainsi un meilleur contrôle sur le processus de génération. Des expériences menées sur les jeux de données Market-1501 et DeepFashion montrent que notre modèle ne génère pas seulement des images réalistes de personnes avec de nouveaux premiers plans, fonds et postures, mais permet également de manipuler les facteurs générés et d’interpoler les états intermédiaires. Une autre série d’expériences sur Market-1501 démontre également que notre modèle peut être bénéfique pour la tâche de réidentification de personnes.