Command Palette
Search for a command to run...
Fashion-VDM : Modèle de diffusion vidéo pour l'essayage virtuel
Fashion-VDM : Modèle de diffusion vidéo pour l'essayage virtuel
Johanna Karras Yingwei Li Nan Liu Luyang Zhu Innfarn Yoo Andreas Lugmayr Chris Lee Ira Kemelmacher-Shlizerman
Résumé
Nous présentons Fashion-VDM, un modèle de diffusion vidéo (VDM) pour la génération de vidéos deessayage virtuel. Étant donné une image d'un vêtement et une vidéo d'une personne, notre méthode vise à générer une vidéo de qualité supérieure montrant la personne portant le vêtement fourni, tout en préservant son identité et ses mouvements. L'essayage virtuel basé sur des images a montré des résultats impressionnants ; cependant, les méthodes actuelles d'essayage virtuel vidéo (VVT) manquent encore de détails sur les vêtements et de cohérence temporelle. Pour remédier à ces problèmes, nous proposons une architecture basée sur la diffusion pour l'essayage virtuel vidéo, une guidance sans classificateur progressive pour un meilleur contrôle des entrées conditionnelles, ainsi qu'une stratégie d'entraînement temporel progressif pour la génération de vidéos de 64 images, avec une résolution de 512 pixels. Nous démontrons également l'efficacité de l'entraînement conjoint image-vidéo pour l'essayage virtuel vidéo, en particulier lorsque les données vidéo sont limitées. Nos expériences qualitatives et quantitatives montrent que notre approche établit un nouveau niveau d'excellence dans le domaine de l'essayage virtuel vidéo. Pour consulter des résultats supplémentaires, veuillez visiter notre page de projet : https://johannakarras.github.io/Fashion-VDM.