Command Palette
Search for a command to run...
Vanast : Virtual Try-On avec Human Image Animation via Synthetic Triplet Supervision
Vanast : Virtual Try-On avec Human Image Animation via Synthetic Triplet Supervision
Hyunsoo Cha Wonjung Woo Byungjun Kim Hanbyul Joo
Résumé
Voici la traduction de votre texte en français, adaptée au style académique et technologique requis :Nous présentons Vanast, un framework unifié capable de générer des vidéos d'animation humaine avec transfert de vêtements directement à partir d'une seule image humaine, d'images de vêtements et d'une vidéo de guidage de pose (pose guidance video). Les pipelines conventionnels en deux étapes traitent l'essayage virtuel basé sur l'image (image-based virtual try-on) et l'animation pilotée par la pose comme des processus distincts, ce qui entraîne souvent une dérive de l'identité (identity drift), une distorsion des vêtements et une incohérence entre l'avant et l'arrière. Notre modèle résout ces problèmes en effectuant l'ensemble du processus en une seule étape unifiée afin d'obtenir une synthèse cohérente.Pour permettre ce cadre de travail, nous avons construit une supervision par triplets à grande échelle. Notre pipeline de génération de données comprend : la génération d'images humaines préservant l'identité dans des tenues alternatives différentes des images du catalogue de vêtements ; la capture de triplets complets comprenant le haut et le bas du corps pour surmonter la limitation des paires vidéo-pose à vêtement unique ; et l'assemblage de triplets diversifiés issus de données réelles (in-the-wild) sans nécessiter d'images de catalogue de vêtements.Nous introduisons en outre une architecture à double module (Dual Module) pour les video diffusion transformers afin de stabiliser l'entraînement, de préserver la qualité générative pré-entraînée et d'améliorer la précision des vêtements, l'adhérence à la pose et la préservation de l'identité, tout en prenant en charge l'interpolation de vêtements en zero-shot. Ensemble, ces contributions permettent à Vanast de produire des animations de haute fidélité et d'une identité cohérente pour une large gamme de types de vêtements.