DynamiCrafter transforme des images fixes en vidéos animées réalistes

Présentation du projet

Les techniques traditionnelles de graphisme animé se concentrent sur la génération d'animations de type vidéo à l'aide de mouvements aléatoires ou spécifiques à un domaine (tels que les cheveux humains ou le mouvement du corps), de sorte que le contenu visuel plus général est limité par ces techniques.

DynamiCrafter utilise des images pour guider le texte afin de générer des vidéos, en connectant l'image complète d'entrée et le bruit initial comme entrée du modèle de diffusion, et en générant finalement un effet d'animation vidéo plus remarquable visuellement et plus logique.

Ce tutoriel exécutera l'intégralité du projet avec seulement quelques lignes de commandes simples, vous permettant d'utiliser la technologie vous-même et de découvrir les effets d'exécution du projet de première main.

Ce tutoriel peut être utilisé de deux manières :
1. Générer des vidéos à l’aide d’images et de messages textuels ;
2. Générez une vidéo en utilisant l'image de début, l'image de fin et les mots d'invite.

Remarque : les deux méthodes ne peuvent pas être exécutées dans un conteneur en même temps. Une fois une méthode terminée, vous devez terminer le processus du terminal et saisir à nouveau une nouvelle commande pour démarrer une autre méthode.

Voici quelques démonstrations d’effets et étapes de fonctionnement.

Affichage des effets

Étapes de course

1. Générer des vidéos via des invites textuelles

1. Changer de répertoire

cd DynamiCrafter

2. Une fois la commande exécutée, vous entrerez dans le répertoire principal de DynamiCrafter, puis entrerez la commande de démarrage du script dans la ligne de commande :

python gradio_app.py

3. À ce stade, le conteneur exécutera automatiquement le programme en fonction du contenu du script. Après avoir attendu que le port 8080 apparaisse sur l'interface, copiez l'adresse API à droite et ouvrez-la dans une nouvelle page (une authentification par nom réel est requise)

4. Après avoir accédé à la page Web, suivez les instructions ci-dessous

Vous pouvez télécharger des photos locales, saisir les mots d'invite qui vous intéressent dans la ligne Invites et ajuster les hyperparamètres pour générer vos vidéos préférées.

2. Générez une vidéo en utilisant l'image de début, l'image de fin et les mots d'invite

Si vous souhaitez découvrir un autre style de génération vidéo de ce projet, vous pouvez suivre les étapes ci-dessous.

1. Tout d’abord, revenez à la page du terminal où vous venez de renvoyer l’URL. Sélectionnez la page du terminal avec le bouton gauche de la souris et tapez « ctrl + c » sur le clavier pour terminer le processus en cours, puis entrez dans la ligne de commande du terminal :

python gradio_app_interp_and_loop.py

2. Une fois la tâche démarrée avec succès, copiez l'adresse API à droite et ouvrez-la dans une nouvelle page

Après avoir accédé à la page Web, vous pouvez voir le contenu suivant :

Téléchargez une image de départ et une image de fin, saisissez les mots d'invite dans la ligne Invites, puis sélectionnez les paramètres pour générer l'image ou la vidéo dynamique que vous souhaitez créer.

Discussion et échange

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutorial Exchange] pour ajouter Xingxing WeChat pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓