Street TryOn : Apprentissage de la Virtual Try-On en situation réelle à partir d’images de personnes non appariées

La plupart des recherches sur le « virtual try-on » visent principalement à soutenir l’industrie de la mode en générant des images permettant de présenter des vêtements sur des mannequins de studio à moindre coût. Toutefois, le « virtual try-on » devrait s’inscrire dans une application bien plus large, permettant aux clients de visualiser les vêtements sur eux-mêmes à partir de photos prises dans des contextes réels, appelées « in-the-wild try-on ». Malheureusement, les méthodes actuelles, bien qu’efficaces dans les scénarios de studio, se révèlent peu performantes dans des environnements réels. Cela s’explique par le fait que ces approches exigent souvent des paires d’images (des images de vêtements associées à des images de personnes portant le même vêtement) pour l’entraînement. Si de telles données appariées sont aisément collectibles à partir de sites de vente en ligne pour les scénarios de studio, leur acquisition dans des contextes réels s’avère extrêmement difficile.Dans ce travail, nous comblons cette lacune en (1) introduisant un benchmark appelé StreetTryOn pour soutenir les applications de « virtual try-on » en situation réelle, et (2) en proposant une nouvelle méthode permettant d’apprendre le « virtual try-on » directement à partir d’un ensemble d’images de personnes prises dans des environnements réels, sans nécessiter de données appariées. Nous surmontons les défis spécifiques liés à la déformation des vêtements selon des postures humaines variées et à la reproduction fidèle de fonds complexes grâce à une méthode novatrice de correction de warpage basée sur DensePose, combinée à une méthode d’imputation conditionnelle par diffusion. Nos expérimentations montrent une performance compétitive sur les tâches standards de « virtual try-on » en studio, ainsi qu’une performance de pointe (SOTA) pour les tâches de « virtual try-on » en situation réelle et de transfert de domaine.