Résumé

Nous introduisons Wan-Animate, un cadre unifié pour l’animation de personnages et leur remplacement. Étant donné une image de personnage et une vidéo de référence, Wan-Animate permet d’animer le personnage en reproduisant avec précision les expressions et les mouvements présents dans la vidéo, afin de générer des vidéos de personnages de haute fidélité. En alternative, il peut intégrer le personnage animé dans la vidéo de référence afin de remplacer le personnage d’origine, en reproduisant fidèlement l’éclairage et la tonalité colorée de la scène pour assurer une intégration environnementale fluide. Wan-Animate repose sur le modèle Wan. Pour l’adapter aux tâches d’animation de personnages, nous utilisons un paradigme d’entrée modifié afin de distinguer clairement les conditions de référence des régions à générer. Cette architecture unifie plusieurs tâches sous une même représentation symbolique. Nous exploitons des signaux squelettiques alignés spatialement pour reproduire les mouvements corporels, et des caractéristiques faciales implicites extraites des images sources pour réinterpréter les expressions, permettant ainsi la génération de vidéos de personnages à la fois hautement contrôlables et expressives. En outre, afin d’améliorer l’intégration environnementale lors du remplacement de personnages, nous avons conçu un module auxiliaire appelé Relighting LoRA. Ce module préserve la cohérence visuelle du personnage tout en appliquant l’éclairage et la tonalité colorée appropriés de l’environnement. Les résultats expérimentaux démontrent que Wan-Animate atteint des performances de pointe. Nous nous engageons à rendre publiques les poids du modèle ainsi que son code source.