PersonaLive ! Animation expressive d’images de portrait pour le streaming en direct
PersonaLive ! Animation expressive d’images de portrait pour le streaming en direct
Zhiyuan Li Chi-Man Pun Chen Fang Jue Wang Xiaodong Cun

Résumé
Les modèles actuels de animation de portraits basés sur la diffusion se concentrent principalement sur l'amélioration de la qualité visuelle et de la réalisme des expressions, tout en négligeant la latence de génération et les performances en temps réel, ce qui limite leur application dans les scénarios de diffusion en direct. Nous proposons PersonaLive, un cadre novateur basé sur la diffusion, conçu pour l'animation de portraits en temps réel en streaming, reposant sur une stratégie d'entraînement en plusieurs étapes. Plus précisément, nous utilisons tout d'abord des signaux implicites hybrides — à savoir des représentations faciales implicites et des points clés 3D implicites — afin d'obtenir un contrôle précis des mouvements au niveau de l'image. Ensuite, nous proposons une stratégie de distillation de l'apparence à moins d'étapes, permettant d'éliminer les redondances d'apparence durant le processus de débruitage, ce qui améliore considérablement l'efficacité d'inférence. Enfin, nous introduisons un paradigme de génération par micro-blocs autoregressifs en streaming, accompagné d'une stratégie d'entraînement glissant et d'un mécanisme de cadre clé historique, permettant une génération vidéo à faible latence et stable à long terme. Des expériences étendues démontrent que PersonaLive atteint des performances de pointe, avec une accélération allant jusqu'à 7 à 22 fois par rapport aux modèles antérieurs basés sur la diffusion pour l'animation de portraits.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.