LivePortrait peut générer des vidéos dynamiques avec une seule image originale

Introduction au tutoriel

Ce tutoriel est une démonstration d'exécution en un clic de la dernière version de LivePortrait. L'environnement et les dépendances pertinents ont été installés. Vous pouvez en faire l'expérience en le clonant et en le démarrant en un clic.

LivePortrait est open source par l'équipe Kuaishou Keling Big Model. Ses principales fonctions incluent la génération d'animations vives à partir d'une seule image, le contrôle précis des mouvements des yeux et des lèvres, le traitement de l'assemblage homogène de plusieurs portraits, la prise en charge de portraits multi-styles, la génération d'animations haute résolution, etc. Ce projet utilise un cadre de génération d'animation de portrait IA basé sur un cadre de points clés implicites. Il peut transférer les expressions et les postures qui animent la vidéo vers des portraits statiques ou dynamiques, générant des vidéos très expressives.

Dans la dernière version, le modèle a ajouté de nombreuses fonctionnalités intéressantes telles que l'édition précise de portraits et l'édition vidéo.

Comment courir

1. Après avoir cloné et démarré le conteneur, copiez l'adresse API générée dans le navigateur pour accéder à l'expérience d'inférence de l'interface Gradio

2. Après avoir ouvert le lien, vous verrez l'interface ci-dessous. Téléchargez respectivement des images et des vidéos, cliquez sur Animer et attendez un moment pour générer le résultat vidéo.

• Matériel d'image : Téléchargez une photo portrait de face en haute résolution. Assurez-vous que vos photos sont nettes et que la lumière est uniformément répartie pour éviter la surexposition ou les ombres importantes.
• Vidéo de référence : téléchargez une vidéo de référence pour piloter les expressions et les mouvements de la tête du portrait. Les personnages de la vidéo peuvent avoir des conversations, chanter ou faire diverses expressions.

Vous pouvez choisir d'activer ou non les 3 options suivantes dans « Options d'animation » : mouvement relatif, recadrage et recollage

Dans la nouvelle version, vous pouvez également choisir de vous concentrer davantage sur les expressions ou les mouvements de la vidéo, ainsi que sur des paramètres tels que la fluidité des mouvements.

Voici quelques exemples :

3. Mode de montage vidéo portrait

Dans l'interface sous la nouvelle version, vous pouvez également choisir d'entrer en mode d'édition vidéo portrait et d'apporter les modifications correspondantes à la vidéo.

4. Mode d'édition de portrait précis

La section suivante de l'interface est le mode d'édition de portrait précis. Les utilisateurs peuvent choisir de modifier des paramètres tels que les sourcils, la taille de la bouche, le clin d'œil, le degré de sourire, etc. pour générer de nouvelles images. Vous pouvez également déplacer la position du visage.

L'effet est celui montré dans la figure

5. Mode vidéo de reciblage

Au bas de l'interface de démonstration, vous pouvez également découvrir le mode Vidéo de reciblage, qui permet d'ajuster la taille de l'ouverture de la bouche de la personne dans la vidéo. Lorsque le rapport d'ouverture des lèvres cible est réglé sur 0, vous pouvez voir que la bouche du personnage dans la vidéo nouvellement générée est fermée.

Échange et discussion

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutoriel SD] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓