LivePortrait kann dynamische Videos mit nur einem Originalbild erstellen

Einführung in das Tutorial

Dieses Tutorial ist eine Demo der neuesten Version von LivePortrait, die mit einem Klick ausgeführt werden kann. Die relevante Umgebung und die Abhängigkeiten wurden installiert. Sie können es erleben, indem Sie es klonen und mit einem Klick starten.

LivePortrait ist eine Open Source-Version des Kuaishou Keling Big Model Teams. Zu seinen Hauptfunktionen gehören das Generieren lebendiger Animationen aus einem einzigen Bild, die präzise Steuerung der Augen- und Lippenbewegungen, das nahtlose Zusammenfügen mehrerer Porträts, die Unterstützung von Porträts in mehreren Stilen, das Generieren hochauflösender Animationen usw. Dieses Projekt verwendet ein Framework zur Generierung von Porträtanimationen mit künstlicher Intelligenz, das auf einem impliziten Keypoint-Framework basiert. Es kann die Ausdrücke und Körperhaltungen, die das Video prägen, auf statische oder dynamische Porträts übertragen und so ausdrucksstarke Videos erzeugen.

In der neuesten Version wurden dem Modell viele interessante Funktionen hinzugefügt, beispielsweise eine präzise Porträtbearbeitung und Videobearbeitung.

Wie man läuft

1. Kopieren Sie nach dem Klonen und Starten des Containers die generierte API-Adresse in den Browser, um die Inferenzerfahrung der Gradio-Schnittstelle aufzurufen

2. Nachdem Sie den Link geöffnet haben, wird die folgende Benutzeroberfläche angezeigt. Laden Sie Bilder bzw. Videos hoch, klicken Sie auf „Animieren“ und warten Sie einen Moment, bis das Videoergebnis generiert wird.

Bildmaterial: Laden Sie ein hochauflösendes Frontalportraitfoto hoch. Stellen Sie sicher, dass Ihre Fotos scharf sind und das Licht gleichmäßig verteilt ist, um Überbelichtung oder starke Schatten zu vermeiden.
Referenzvideo: Laden Sie ein Referenzvideo hoch, um die Ausdrücke und Kopfbewegungen des Porträts zu steuern. Die Figuren im Video können Gespräche führen, singen oder verschiedene Ausdrücke machen.

Sie können wählen, ob Sie die folgenden 3 Optionen in den "Animationsoptionen" aktivieren möchten: relative Bewegung, Zuschneiden und Zurückfügen

In der neuen Version können Sie sich außerdem stärker auf die Ausdrücke oder Bewegungen im Video konzentrieren, sowie auf Parameter wie die Flüssigkeit der Bewegungen.

Hier sind einige Beispiele:

3. Hochformat-Videobearbeitungsmodus

In der Benutzeroberfläche unterhalb der neuen Version können Sie außerdem auswählen, ob Sie in den Hochformat-Videobearbeitungsmodus wechseln und entsprechende Änderungen am Video vornehmen möchten.

4. Präziser Porträtbearbeitungsmodus

Der nächste Abschnitt der Benutzeroberfläche ist der Modus zur präzisen Porträtbearbeitung. Benutzer können Parameter wie Augenbrauen, Mundgröße, Zwinkern, Lächelngrad usw. ändern, um neue Bilder zu generieren. Sie können auch die Position des Gesichts verschieben.

Der Effekt ist wie in der Abbildung dargestellt

5. Retargeting-Videomodus

Unten in der Demo-Oberfläche können Sie auch den Retargeting-Video-Modus ausprobieren, mit dem Sie die Größe der Mundöffnung der Person im Video anpassen können. Wenn das Ziel-Lippenöffnungsverhältnis auf 0 eingestellt ist, können Sie sehen, dass der Mund der Figur im neu generierten Video geschlossen ist.

Austausch und Diskussion

🖌️ Wenn Sie ein hochwertiges Projekt sehen, hinterlassen Sie bitte im Hintergrund eine Nachricht, um es weiterzuempfehlen! Darüber hinaus haben wir auch eine Tutorien-Austauschgruppe ins Leben gerufen. Willkommen, Freunde, scannen Sie den QR-Code und kommentieren Sie [SD-Tutorial], um der Gruppe beizutreten, verschiedene technische Probleme zu besprechen und Anwendungsergebnisse auszutauschen ↓