Vers une essayage virtuel réaliste grâce à la génération adaptative $\leftrightarrow$ préservation du contenu d'image

Le try-on visuel d’images vise à transférer une image de vêtement cible sur une personne de référence, et est devenu un sujet d’intérêt croissant ces dernières années. Les méthodes antérieures se concentrent généralement sur la préservation des caractéristiques propres à l’image de vêtement (par exemple, texture, logo, broderie) lorsqu’elle est déformée pour s’adapter à des poses humaines arbitraires. Toutefois, il reste un défi majeur de produire des images de try-on photoréalistes lorsque des occlusions importantes et des poses complexes sont présentes dans la personne de référence. Pour relever ce défi, nous proposons un nouveau réseau de try-on visuel, nommé Réseau Adaptatif de Génération et de Préservation de Contenu (ACGPN). En particulier, ACGPN prédit d’abord le layout sémantique de l’image de référence qui sera modifié après le try-on (par exemple, une chemise à manches longues → bras, bras → veste), puis détermine, en fonction de ce layout prédit, si le contenu image doit être généré ou préservé, permettant ainsi d’obtenir des images de try-on photoréalistes avec des détails riches en matière de vêtements. L’architecture ACGPN repose généralement sur trois modules principaux. Premièrement, un module de génération de layout sémantique utilise la segmentation sémantique de l’image de référence pour prédire progressivement le layout souhaité après le try-on. Deuxièmement, un module de déformation de vêtements déforme les images de vêtements selon le layout sémantique généré, en introduisant une contrainte de différence du second ordre afin de stabiliser le processus de déformation durant l’entraînement. Troisièmement, un module d’imputation (inpainting) pour la fusion de contenu intègre toutes les informations disponibles (image de référence, layout sémantique, vêtements déformés) afin de produire de manière adaptative chaque partie sémantique du corps humain. Par rapport aux méthodes de pointe actuelles, ACGPN permet de générer des images photoréalistes présentant une qualité perceptuelle nettement supérieure et des détails fins plus riches.