DynamiCrafter verwandelt Standbilder in realistische Bewegtvideos

Projektvorstellung

Traditionelle Motion-Graphics-Techniken konzentrieren sich auf die Generierung videoähnlicher Animationen durch zufällige oder domänenspezifische Bewegungen (wie etwa menschliche Haare oder Körperbewegungen). Allgemeinere visuelle Inhalte sind daher durch solche Techniken eingeschränkt.

DynamiCrafter verwendet Bilder als Textführung zur Videogenerierung, verbindet das eingegebene vollständige Bild und das anfängliche Rauschen als Eingabe des Diffusionsmodells und erzeugt so letztendlich einen optisch herausragenderen und logischeren Videoanimationseffekt.

In diesem Tutorial wird das gesamte Projekt mit nur wenigen einfachen Befehlszeilen ausgeführt. So können Sie die Technologie selbst nutzen und die laufenden Auswirkungen des Projekts aus erster Hand erleben.

Dieses Tutorial kann auf zwei Arten verwendet werden:
1. Erstellen Sie Videos anhand von Bildern und Textaufforderungen.
2. Erstellen Sie ein Video mit Startbild, Endbild und Eingabewörtern.

Hinweis: Beide Methoden können nicht gleichzeitig in einem Container ausgeführt werden. Nachdem eine Methode abgeschlossen ist, müssen Sie den Terminalprozess beenden und erneut einen neuen Befehl eingeben, um eine andere Methode zu starten.

Nachfolgend sind einige Effektdemonstrationen und Bedienungsschritte aufgeführt.

Effektanzeige

Schritte ausführen

1. Generieren Sie Videos durch Textaufforderungen

1. Verzeichnis wechseln

cd DynamiCrafter

2. Nachdem der Befehl ausgeführt wurde, geben Sie das Hauptverzeichnis von DynamiCrafter ein und geben dann den Skriptstartbefehl in die Befehlszeile ein:

python gradio_app.py

3. Zu diesem Zeitpunkt führt der Container das Programm automatisch entsprechend dem Skriptinhalt aus. Nachdem Sie gewartet haben, bis Port 8080 auf der Schnittstelle angezeigt wird, kopieren Sie die API-Adresse rechts und öffnen Sie sie auf einer neuen Seite (Authentifizierung mit echtem Namen ist erforderlich).

4. Folgen Sie nach dem Aufrufen der Webseite den nachstehenden Anweisungen

Sie können lokale Fotos hochladen, die Eingabeaufforderungswörter, die Sie interessieren, in die Eingabeaufforderungszeile eingeben und die Hyperparameter anpassen, um Ihre Lieblingsvideos zu generieren.

2. Erstellen Sie ein Video mit Startbild, Endbild und Eingabeaufforderung

Wenn Sie einen anderen Videogenerierungsstil dieses Projekts ausprobieren möchten, können Sie die folgenden Schritte ausführen.

1. Gehen Sie zunächst zurück zur Terminalseite, auf der Sie gerade die URL zurückgegeben haben. Wählen Sie mit der linken Maustaste die Terminalseite aus und geben Sie „Strg + C“ auf der Tastatur ein, um den aktuellen Prozess zu beenden. Geben Sie dann in die Terminal-Befehlszeile ein:

python gradio_app_interp_and_loop.py

2. Nachdem die Aufgabe erfolgreich gestartet wurde, kopieren Sie die API-Adresse rechts und öffnen Sie sie auf einer neuen Seite

Nach dem Aufrufen der Webseite können Sie den folgenden Inhalt sehen:

Laden Sie ein Startbild und ein Endbild hoch, geben Sie die Eingabeaufforderungswörter in die Eingabeaufforderungszeile ein und wählen Sie dann die Parameter aus, um das dynamische Bild oder Video zu generieren, das Sie erstellen möchten.

Diskussion und Austausch

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [Tutorial Exchange], um Xingxing WeChat hinzuzufügen und der Gruppe beizutreten, um verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen↓