Démonstration De Génération De Vidéos Virtuelles Humaines De Longueur Illimitée De MuseV

Présentation du projet

MuseV  Il s'agit d'un framework de génération de vidéos humaines virtuelles open source par le Tianqin Lab de Tencent Music Entertainment en mars 2024, axé sur la génération de vidéos humaines virtuelles de haute qualité et la synchronisation labiale. Il utilise des algorithmes avancés pour produire du contenu vidéo long avec une grande cohérence et des expressions naturelles. Il peut être combiné avec les publications déjà publiées MuseTalk  Utilisées en combinaison, une « solution humaine virtuelle » complète peut être construite.

Le modèle présente les caractéristiques suivantes :

1. Il prend en charge l'utilisation d'un nouveau schéma de débruitage parallèle conditionnel visuel pour la génération de longueur infinie sans problème d'accumulation d'erreurs, ce qui est particulièrement adapté aux scènes avec des positions de caméra fixes.
2. Un modèle pré-entraîné pour la génération de vidéos humaines virtuelles basé sur un ensemble de données de type de caractère est fourni.
3. Prend en charge la génération d'image en vidéo, de texte en image en vidéo et de vidéo en vidéo.
4. compatible Stable Diffusion L'écosystème de génération de texte et d'images comprend base_model , lora , controlnet attendez.
5. Prend en charge plusieurs techniques d'images de référence, notamment IPAdapter , ReferenceOnly , ReferenceNet , IPAdapterFaceID .

---

Affichage des effets

Tous les cadres qui génèrent les résultats sont directement générés par MuseV  Généré sans aucun post-traitement tel que la super-résolution temporelle ou la super-résolution spatiale.

Tous les cas de test suivants peuvent être implémentés dans ce tutoriel. Il faut environ 2 minutes et demie pour générer une vidéo de 7 secondes. La vidéo la plus longue testée dure 20 secondes et dure 8 minutes.

Affichage des effets de caractère

image	vidéo	rapide
		(chef-d'œuvre, meilleure qualité, haute résolution : 1), scène de mer paisible et magnifique
		(chef-d'œuvre, meilleure qualité, haute résolution : 1), jouer de la guitare
		(chef-d'œuvre, meilleure qualité, haute résolution : 1), jouer de la guitare

Affichage des effets de scène

image	vidéo	rapide
		(chef-d'œuvre, meilleure qualité, haute résolution : 1), cascade paisible et magnifique, une cascade sans fin
		(chef-d'œuvre, meilleure qualité, haute résolution : 1), scène de mer paisible et magnifique

Générer des vidéos à partir de vidéos existantes

image	vidéo	rapide
		(chef-d'œuvre, meilleure qualité, haute résolution : 1), danse, animation

Étapes de course

1. Recherchez le bouton « Cloner » dans le coin supérieur droit de ce didacticiel. Après avoir cliqué sur « Cloner », utilisez directement la configuration par défaut de la plateforme pour créer un conteneur. Attendez que le conteneur soit exécuté et démarré avec succès, puis vous verrez la page illustrée dans la figure ci-dessous. Suivez les instructions de la figure pour accéder à l’interface d’exploitation du projet.

❗Remarque❗ Étant donné que le modèle est volumineux, le chargement du modèle peut prendre environ 1 minute après le démarrage réussi du conteneur avant que l'adresse API puisse être ouverte.

2. L'utilisation de la page est expliquée comme suit :

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓