Command Palette
Search for a command to run...
Wan-Animate : Animation et remplacement unifiés de personnages par réplication globale
Wan-Animate : Animation et remplacement unifiés de personnages par réplication globale
Résumé
Nous introduisons Wan-Animate, un cadre unifié pour l'animation de personnages et leur remplacement. Étant donné une image de personnage et une vidéo de référence, Wan-Animate peut animer le personnage en reproduisant avec précision les expressions et les mouvements présents dans la vidéo, afin de générer des vidéos de personnage de haute fidélité. En alternative, il peut intégrer le personnage animé dans la vidéo de référence afin de remplacer le personnage d'origine, en reproduisant fidèlement l'éclairage et la tonalité colorimétrique de la scène pour assurer une intégration environnementale sans faille. Wan-Animate est basé sur le modèle Wan. Pour l'adapter aux tâches d'animation de personnages, nous utilisons un paradigme d'entrée modifié permettant de distinguer les conditions de référence des régions à générer. Ce design unifie plusieurs tâches sous une même représentation symbolique. Nous utilisons des signaux squelettiques alignés spatialement pour reproduire les mouvements corporels, ainsi que des caractéristiques faciales implicites extraites des images sources pour réinterpréter les expressions, permettant ainsi la génération de vidéos de personnages à la fois hautement contrôlables et expressives. En outre, afin d'améliorer l'intégration environnementale lors du remplacement de personnages, nous avons développé un module auxiliaire appelé Relighting LoRA. Ce module préserve la cohérence de l'apparence du personnage tout en appliquant l'éclairage et la tonalité colorimétrique appropriés de l'environnement. Les résultats expérimentaux démontrent que Wan-Animate atteint des performances de pointe. Nous nous engageons à rendre les poids du modèle et son code source disponibles en open source.