Vers un réseau de mise en essayage virtuelle guidé par plusieurs poses

Un système deessayage virtuel sous des poses humaines arbitraires présente un potentiel d'application considérable, mais soulève également de nombreux défis, tels que les auto-occultations, le désalignement important entre les poses variées et la diversité des textures des vêtements. Les méthodes existantes visant à ajuster de nouveaux vêtements sur une personne ne peuvent transférer des vêtements que sur une pose humaine fixe, mais montrent encore des performances insatisfaisantes qui échouent souvent à préserver l'identité, perdent les détails texturaux et réduisent la diversité des poses. Dans cet article, nous faisons la première tentative vers un système d'essayage virtuel guidé par plusieurs poses, qui permet de transférer des vêtements sur une image de personne sous différentes poses. Étant donné une image de personne en entrée, une image de vêtements souhaités et une pose souhaitée, le réseau d'Essayage Virtuel Guidé par Multi-Pose (MG-VTON) proposé peut générer une nouvelle image de personne après avoir ajusté les vêtements souhaités dans l'image d'entrée et manipulé les poses humaines. Notre MG-VTON est construit en trois étapes : 1) une carte de segmentation humaine souhaitée de l'image cible est synthétisée pour correspondre à la fois à la pose souhaitée et à la forme des vêtements souhaités ; 2) un réseau génératif adversarial profond (Warp-GAN) déforme l'apparence des vêtements souhaités dans la carte de segmentation humaine synthétisée et atténue le problème de désalignement entre la pose humaine en entrée et la pose humaine souhaitée ; 3) un rendu de raffinement utilisant des masques composites multi-pose récupère les détails texturaux des vêtements et supprime certains artefacts. De nombreuses expériences menées sur des jeux de données bien connus et sur notre nouveau benchmark d'essayage virtuel le plus grand jamais collecté démontrent que notre MG-VTON dépasse significativement toutes les méthodes d'état de l'art tant qualitativement que quantitativement, avec des performances prometteuses en matière d'essayage virtuel multi-pose.