DynamiCrafter verwandelt statische Bilder in realistische dynamische Videos

Projektübersicht

Traditionelle Techniken zur Erzeugung von Bewegung konzentrieren sich hauptsächlich darauf, annähernd videoähnliche Animationseffekte durch zufällige oder domänenspezifische Bewegungen (z. B. Haare- oder Körperbewegungen des Menschen) zu erzeugen, wodurch allgemeinere visuelle Inhalte eingeschränkt werden.

Im Gegensatz dazu verwendet DynamiCrafter eine bildgeführte Text-zu-Video-Generierung und verbindet das eingegebene Vollbild mit initialem Rauschen als Eingabe für das Diffusionsmodell, um schließlich visuell herausragende sowie logisch konsistente Videoanimationen zu generieren.

Dieses Tutorial führt Sie mithilfe weniger einfacher Befehle durch die gesamte Projektausführung, sodass Sie diese Technologie selbst anwenden können und ihre Leistungsfähigkeit direkt erleben.

Das Tutorial unterstützt zwei Nutzungsmethoden:

1. Generierung eines Videos aus einem Bild und einer Textbeschreibung;
2. Generierung eines Videos ausgehend vom Startframe, Endframe und einer Beschreibung.

Hinweis: Beide Methoden können nicht gleichzeitig im Container ausgeführt werden. Nach Abschluss der einen Methode muss der Terminalprozess beendet werden, bevor neue Befehle eingegeben werden, um die andere Methode zu starten.

Nachfolgend finden Sie einige Ergebnisbeispiele und Ausführungsschritte.

Ergebnisbeispiel

Ausführungsschritte

I. Generierung eines Videos mittels Textprompt

1. Verzeichnis wechseln

cd DynamiCrafter

2. Nach dem Ausführen des Commands gelangen Sie in das Hauptverzeichnis von DynamiCrafter. Geben Sie anschließend den Skriptstartbefehl in die Kommandozeile ein:

python gradio_app.py

3. Der Container führt nun automatisch basierend auf dem Skriptinhalt das Programm aus. Warten Sie, bis am Port 8080 die Benutzeroberfläche erscheint, kopieren Sie dann die API-Adresse rechts und öffnen Sie sie in einem neuen Tab (eine verifizierte Identität ist erforderlich).

4. Folgen Sie nach dem Öffnen der Webseite den folgenden Anweisungen:

Sie können lokale Fotos hochladen, eigene Prompt-Begriffe in der Zeile „Prompts“ eingeben und Hyperparameter anpassen, um Ihre gewünschten Videos zu erstellen.

II. Generierung eines Videos anhand von Startframe, Endframe und Prompt

Wenn Sie auch den anderen Stil der Videogenerierung dieses Projekts weiter erkunden möchten, folgen Sie bitte dem unten stehenden Ablauf.

1. Kehren Sie zunächst zum vorherigen Terminalfenster zurück, über welches Sie die URL geöffnet haben. Klicken Sie mit der linken Maustaste ins Terminalfenster und drücken Sie Strg+C, um den aktuellen Prozess zu beenden. Geben Sie danach Folgendes in die Terminal-Eingabeaufforderung ein:

python gradio_app_interp_and_loop.py

2. Sobald die Aufgabe erfolgreich gestartet wurde, kopieren Sie die API-Adresse rechts und öffnen Sie sie in einem neuen Browser-Tab.

Auf der Webseite sehen Sie folgende Anzeige:

Laden Sie ein Startbild und ein Endbild hoch, geben Sie Ihren Prompt in das Feld „Prompts“ ein, passen Sie die Parameter an und schon wird Ihr gewünschtes animiertes Bild bzw. Video erstellt.