HyperAIHyperAI

Command Palette

Search for a command to run...

Vanast : Virtual Try-On avec Human Image Animation via Synthetic Triplet Supervision

Hyunsoo Cha Wonjung Woo Byungjun Kim Hanbyul Joo

Résumé

Voici la traduction de votre texte en français, adaptée au style académique et technologique requis :Nous présentons Vanast, un framework unifié capable de générer des vidéos d'animation humaine avec transfert de vêtements directement à partir d'une seule image humaine, d'images de vêtements et d'une vidéo de guidage de pose (pose guidance video). Les pipelines conventionnels en deux étapes traitent l'essayage virtuel basé sur l'image (image-based virtual try-on) et l'animation pilotée par la pose comme des processus distincts, ce qui entraîne souvent une dérive de l'identité (identity drift), une distorsion des vêtements et une incohérence entre l'avant et l'arrière. Notre modèle résout ces problèmes en effectuant l'ensemble du processus en une seule étape unifiée afin d'obtenir une synthèse cohérente.Pour permettre ce cadre de travail, nous avons construit une supervision par triplets à grande échelle. Notre pipeline de génération de données comprend : la génération d'images humaines préservant l'identité dans des tenues alternatives différentes des images du catalogue de vêtements ; la capture de triplets complets comprenant le haut et le bas du corps pour surmonter la limitation des paires vidéo-pose à vêtement unique ; et l'assemblage de triplets diversifiés issus de données réelles (in-the-wild) sans nécessiter d'images de catalogue de vêtements.Nous introduisons en outre une architecture à double module (Dual Module) pour les video diffusion transformers afin de stabiliser l'entraînement, de préserver la qualité générative pré-entraînée et d'améliorer la précision des vêtements, l'adhérence à la pose et la préservation de l'identité, tout en prenant en charge l'interpolation de vêtements en zero-shot. Ensemble, ces contributions permettent à Vanast de produire des animations de haute fidélité et d'une identité cohérente pour une large gamme de types de vêtements.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp