DynamiCrafter transforme les images statiques en vidéos dynamistes réalistes

Présentation du projet

Les techniques traditionnelles d’animation se concentraient principalement sur la génération d’effets animés de type vidéo à l’aide de mouvements aléatoires ou spécifiques au domaine (par exemple, le mouvement des cheveux ou du corps humain), ce qui limitait leur capacité à traiter des contenus visuels plus généraux.

En revanche, DynamiCrafter utilise une approche guidée par l’image pour générer des vidéos à partir de texte : il combine l’image complète fournie et un bruit initial comme entrée du modèle de diffusion, produisant ainsi des animations vidéo visuellement supérieures et logiquement cohérentes.

Ce tutoriel vous permettra d’exécuter rapidement tout le projet avec quelques lignes de commande, afin que vous puissiez expérimenter concrètement cette technologie et observer ses résultats en temps réel.

Deux modes d’utilisation sont disponibles dans ce tutoriel :

1. Générer une vidéo à partir d’une image et d’un prompt textuel ;
2. Générer une vidéo à partir d’une image de départ, d’une image finale et d’un prompt.

Remarque : Les deux méthodes ne peuvent pas être exécutées simultanément dans le même conteneur. Après avoir terminé l’exécution d’une méthode, vous devez arrêter le processus terminal puis saisir une nouvelle commande pour lancer l’autre mode.

Voici ci-dessous des exemples de résultats et les étapes d’exécution.

Exemples de résultats

Étapes d’exécution

I. Génération de vidéo via un prompt textuel

1. Changer de répertoire

cd DynamiCrafter

2. Une fois la commande exécutée, vous serez dirigé vers le répertoire principal de DynamiCrafter. Saisissez ensuite la commande de lancement du script dans votre ligne de commande :

python gradio_app.py

3. Le conteneur lancera automatiquement le programme selon le contenu du script. Attendez qu’apparaisse l’interface associée au port 8080, puis copiez l’adresse API affichée à droite pour l’ouvrir dans un nouvel onglet (une vérification d’identité réelle est requise).

4. Sur la page web ouverte, suivez les instructions suivantes :

Vous pouvez télécharger vos propres photos depuis votre appareil local, entrer des prompts personnalisés dans la zone « Prompts », ajuster les hyperparamètres si nécessaire, et générer ainsi la vidéo souhaitée.

II. Génération de vidéo à partir d’une image initiale, d’une image finale et d’un prompt

Si vous souhaitez explorer davantage ce deuxième style de génération vidéo proposé par le projet, veuillez suivre la procédure décrite ci-après.

1. Tout d’abord, revenez à la fenêtre de terminal où s’est ouvert l’URL précédent. Sélectionnez la fenêtre de terminal avec le clic gauche de la souris, puis appuyez sur Ctrl+C pour interrompre le processus actuel. Ensuite, saisissez la commande suivante dans le terminal :

python gradio_app_interp_and_loop.py

2. Une fois la tâche démarrée avec succès, copiez l’adresse API située à droite et ouvrez-la dans un nouveau navigateur.

Une fois sur la page web, vous verrez l’interface suivante :

Téléchargez une image de début et une image de fin, entrez votre prompt dans la zone « Prompts », ajustez les paramètres optionnels, et générez enfin votre animation ou vidéo personnalisée.

[JIALIU_0]