"The Wandering Earth 2" Deepfake-Prozess, 45+ Wu Jing "verjüngt" Und in Einen 21-jährigen Jungen Verwandelt
„The Wandering Earth 2“ hat in nur 8 Tagen seit seiner Veröffentlichung über 2,4 Milliarden Yuan eingespielt, 36 Rekorde gebrochen und 91 Meilensteine erreicht. Unter ihnen hinterließen der 21-jährige junge Schauspieler Liu Peiqiang (gespielt von Wu Jing) und der junge und gutaussehende Tu Hengyu (gespielt von Andy Lau) einen tiefen Eindruck beim Publikum.
Ein auf dem offiziellen Weibo-Konto von The Wandering Earth veröffentlichtes Video beschreibt die komplexen technischen Schwierigkeiten hinter den gesichtsverändernden Spezialeffekten.
Wu Jing: Lass dich von meinem jungen und hübschen Gesicht nicht erschrecken
Quelle: @The Wandering Earth Official Weibo
In einer Frage auf Zhihu mit dem Titel „Welche unbekannten Produktionsherausforderungen gibt es hinter den Kulissen von „The Wandering Earth 2“?“ gab Xu Jian, Visual Effects Supervisor von „The Wandering Earth 2“ und Gründer von MOREVFX, zu, dass die erste technische Schwierigkeit die „Verjüngung“ sei.
Digitaler Alterswandel: Der über 45-jährige Wu Jing verwandelte sich in einen 21-jährigen gutaussehenden Jungen
De-Aging ist eine visuelle Effekttechnologie, die in Film- und Fernsehproduktionen verwendet wird. Es bezieht sich auf die Verwendung digitaler Schnitt- oder Computergrafiktechnologie (CG), um Schauspieler in bestimmten Szenen jünger aussehen zu lassen.
Im Film „The Wandering Earth 2“ geht es bei den von den Schauspielern Wu Jing, Andy Lau, Wang Zhi und vielen anderen gespielten Charakteren um die Verjüngung der Charaktere, also um die Verjüngung der Alterung.
Das KI-Modell wurde mit 2D-Aufnahmen von Wu Jing aus seiner Jugend trainiert, um eine Verjüngung und eine vollständige Gesichtsveränderung für reale Aufnahmen durchzuführen.
Ein kleines Extra: Laut der Handlung des Films wurde Liu Peiqiang im Jahr 2023 geboren.
Nehmen wir Wu Jing als Beispiel. In Wirklichkeit war Wu Jing zum Zeitpunkt der Dreharbeiten zu diesem Film über 45 Jahre alt (berechnet gemäß der Baidu-Enzyklopädie), doch Liu Peiqiang war im Jahr 2044 im Film erst 21 Jahre alt. Damit ein Schauspieler über 45 die Herausforderung annehmen kann, einen 21-jährigen „Frischling“ zu spielen, braucht er unbedingt technische Unterstützung.
3 wichtige Anti-Aging-Methoden
Tatsächlich ließen sich die damals weltweit gängigen Methoden zur Verjüngung in drei Kategorien unterteilen.
Die Methode besteht aus zwei Hauptschritten:
- Digitale Menschen schaffen und verjüngen
Mithilfe des vom Schauspieler getragenen Geräts zur Erfassung seines Gesichtsausdrucks wird dieser gescannt und eine Datenbank generiert, um eine digitale Person des Zielschauspielers zu erstellen. Anschließend wird die digitale Person anhand von Standbildern und Videoaufnahmen aus der frühen Karriere des Schauspielers verjüngt.
- Animation digitaler Menschen basierend auf Motion-Capture-Ausrüstung, die von Schauspielern getragen wird
Laut Xu Jian, Visual Effects Director von „The Wandering Earth 2“, ist diese Methode mit einem hohen Budget verbunden, es mangelt in China an entsprechenden Talenten und die Ausrüstung am Körper kann die Dreharbeiten der Kampfszenen und den Ausdruck der Emotionen der Schauspieler beeinträchtigen.
Will Smith trägt Ausrüstung zur Erfassung von Bewegung und Ausdruck
Im Film „The Irishman“ entwickelte Industrial Light & Magic eine Verjüngungstechnologie, die weder das Tragen physischer Geräte noch Markierungen im Gesicht erfordert. Die Schauspieler sind von drei Kameras umgeben, eine für normale Aufnahmen und die anderen beiden für die Aufzeichnung der für die Verjüngung benötigten Daten. Durch die Aufnahme mit Infrarotobjektiven werden die notwendigen Daten gesammelt, um die Aufführung digital wiederzugeben.
Die von der Kamera aufgezeichneten Daten werden mit dem Lichteffekt kombiniert, um die Figur zu verjüngen.
Im Film „Captain America 3: Civil War“ nutzte das Visual-Effects-Team frühe Film- und Fernseharbeiten sowie visuelle Materialien von Robert Downey Jr., um ein auf dem Deepfake-Algorithmus basierendes KI-Modell zu trainieren und die Gesichtsveränderung durchzuführen.
Deepfake, junge Version von Tony Stark
Laut Xu Jian, dem Visual-Effects-Direktor von „The Wandering Earth 2“, begann das Visual-Effects-Team anderthalb Jahre vor Beginn der Dreharbeiten des Films mit technischen Experimenten. Nachdem das Team für visuelle Effekte fünf oder sechs Methoden zur Gesichtsveränderung getestet hatte, entschied es sich schließlich für die dritte Verjüngungsmethode. Basierend auf dem Deepfake-Algorithmus wurde das KI-Modell mit 2D-Materialien der Schauspieler trainiert, als diese jung waren. Nach mehr als 5 Millionen Iterationen wurden die realen Materialien ersetzt.
Überprüfung von Artikeln zur Gesichtsverjüngung und Alterung
《Produktionsreife Gesichtsneugestaltung für visuelle Effekte》
Das Disney-Forschungsteam schlug ein Face Re-Aging Network (kurz FRAN) vor, das Gesichtsbilder in Videos automatisch neu formen kann, ohne ihre Identität zu verlieren, und so einen Verjüngungs- oder Alterungseffekt auf dem Zielgesicht erzielt.
Das eingegebene Porträtalter beträgt 35 Jahre, die oberen und unteren Reihen zeigen ein Alter von 65 Jahren bzw. 18 Jahren.
„Hochauflösende Gesichtsaltersbearbeitung“
In diesem Artikel wird eine Encoder-Decoder-Architektur zur Gesichtsaltersbearbeitung vorgeschlagen, die mit einer einfachen Methode eine hochauflösende Gesichtsaltersbearbeitung ermöglicht und Bilder mit einer Auflösung von 1024 x 1024 ausgeben kann.
Basierend auf dem eingegebenen Gesicht (gelber Rahmen) werden hochwertige Gesichtsbilder verschiedener Altersgruppen ausgegeben
„Nur eine Frage des Stils: Alterstransformation mithilfe eines stilbasierten Regressionsmodells“
In diesem Artikel wird eine Bild-zu-Bild-Übersetzungsmethode vorgeschlagen, die echte Gesichtsbilder direkt in den latenten Raum eines vorab trainierten bedingungslosen GAN für die Alterungstransformation kodiert. Mit nur einem Foto des Motivs können Gesichtszüge jeden Alters bis ins kleinste Detail erstellt werden.
Alterungsergebnisse, die mit der im Artikel vorgeschlagenen SAM-Architektur generiert wurden
Die Technologie zur Gesichtsveränderung auf Pixelebene hat noch einen langen Weg vor sich und benötigt noch Industriestandards
In „The Wandering Earth 2“ basiert die Darstellung der jungen Liu Peiqiang und Tu Hengyu auf dem Deepfake-Algorithmus. Durch die Untersuchung vieler relevanter Dokumente und die Einführung des Visual Effects Director Xu Jian haben wir jedoch erfahren, dass in der späteren Phase der Filmproduktion immer noch professionelles Postproduktionspersonal erforderlich ist, um nach der Gesichtsveränderung komplexe Verbesserungen und Reparaturen an den Charakteren vorzunehmen.
Dies liegt daran, dass die Technologie zur Gesichtsveränderung bei der Verarbeitung einiger Details, wie beispielsweise steifer Ausdrücke und unnatürlicher Augenausdrücke, noch einige Defizite aufweist. Diese „Ungereimtheiten“ werden auf der großen Kinoleinwand zweifellos noch deutlicher hervortreten und beim Publikum Unbehagen hervorrufen.
Die Entwicklung von De-Aging- und Alterungsalgorithmen ist noch weit davon entfernt, eine „perfekte Adaption“ der Charaktere in Film- und Fernsehwerken zu erreichen. Auch die Überwachung des Missbrauchs der Deepfake-Technologie stellt ein potenzielles Risiko und eine Herausforderung dar, der sich die Branche, die Technologie-Community und sogar normale Benutzer stellen müssen. Ich bin sehr gespannt, solch großartige Szenenbilder und visuelle Effekte in einem heimischen Science-Fiction-Film zu sehen. Ich freue mich auf Little Broken Ball 3!
Referenzen: [1] https://www.zhihu.com/question/579613527 [2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302 [3] https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making
Inhalt im Überblick: Im Frühlingsfest-Science-Fiction-Film „The Wandering Earth 2“ erstrecken sich die von Wu Jing, Andy Lau, Sha Yi und anderen gespielten Charaktere über 14 Jahre. Das Team für visuelle Effekte verwendete die Deepfake-De-Aging-Technologie, um das Aussehen der Schauspieler in unterschiedlichen Altersstufen darzustellen.
Schlüsselwörter: Verjüngung Deepfake Die wandernde Erde
„The Wandering Earth 2“ hat in nur 8 Tagen seit seiner Veröffentlichung über 2,4 Milliarden Yuan eingespielt, 36 Rekorde gebrochen und 91 Meilensteine erreicht. Unter ihnen hinterließen der 21-jährige junge Schauspieler Liu Peiqiang (gespielt von Wu Jing) und der junge und gutaussehende Tu Hengyu (gespielt von Andy Lau) einen tiefen Eindruck beim Publikum.
Ein auf dem offiziellen Weibo-Konto von The Wandering Earth veröffentlichtes Video beschreibt die komplexen technischen Schwierigkeiten hinter den gesichtsverändernden Spezialeffekten.
Wu Jing: Lass dich von meinem jungen und hübschen Gesicht nicht erschrecken
Quelle: @The Wandering Earth Official Weibo
In einer Frage auf Zhihu mit dem Titel „Welche unbekannten Produktionsherausforderungen gibt es hinter den Kulissen von „The Wandering Earth 2“?“ gab Xu Jian, Visual Effects Supervisor von „The Wandering Earth 2“ und Gründer von MOREVFX, zu, dass die erste technische Schwierigkeit die „Verjüngung“ sei.
Digitaler Alterswandel: Der über 45-jährige Wu Jing verwandelte sich in einen 21-jährigen gutaussehenden Jungen
De-Aging ist eine visuelle Effekttechnologie, die in Film- und Fernsehproduktionen verwendet wird. Es bezieht sich auf die Verwendung digitaler Schnitt- oder Computergrafiktechnologie (CG), um Schauspieler in bestimmten Szenen jünger aussehen zu lassen.
Im Film „The Wandering Earth 2“ geht es bei den von den Schauspielern Wu Jing, Andy Lau, Wang Zhi und vielen anderen gespielten Charakteren um die Verjüngung der Charaktere, also um die Verjüngung der Alterung.
Das KI-Modell wurde mit 2D-Aufnahmen von Wu Jing aus seiner Jugend trainiert, um eine Verjüngung und eine vollständige Gesichtsveränderung für reale Aufnahmen durchzuführen.
Ein kleines Extra: Laut der Handlung des Films wurde Liu Peiqiang im Jahr 2023 geboren.
Nehmen wir Wu Jing als Beispiel. In Wirklichkeit war Wu Jing zum Zeitpunkt der Dreharbeiten zu diesem Film über 45 Jahre alt (berechnet gemäß der Baidu-Enzyklopädie), doch Liu Peiqiang war im Jahr 2044 im Film erst 21 Jahre alt. Damit ein Schauspieler über 45 die Herausforderung annehmen kann, einen 21-jährigen „Frischling“ zu spielen, braucht er unbedingt technische Unterstützung.
3 wichtige Anti-Aging-Methoden
Tatsächlich ließen sich die damals weltweit gängigen Methoden zur Verjüngung in drei Kategorien unterteilen.
Die Methode besteht aus zwei Hauptschritten:
- Digitale Menschen schaffen und verjüngen
Mithilfe des vom Schauspieler getragenen Geräts zur Erfassung seines Gesichtsausdrucks wird dieser gescannt und eine Datenbank generiert, um eine digitale Person des Zielschauspielers zu erstellen. Anschließend wird die digitale Person anhand von Standbildern und Videoaufnahmen aus der frühen Karriere des Schauspielers verjüngt.
- Animation digitaler Menschen basierend auf Motion-Capture-Ausrüstung, die von Schauspielern getragen wird
Laut Xu Jian, Visual Effects Director von „The Wandering Earth 2“, ist diese Methode mit einem hohen Budget verbunden, es mangelt in China an entsprechenden Talenten und die Ausrüstung am Körper kann die Dreharbeiten der Kampfszenen und den Ausdruck der Emotionen der Schauspieler beeinträchtigen.
Will Smith trägt Ausrüstung zur Erfassung von Bewegung und Ausdruck
Im Film „The Irishman“ entwickelte Industrial Light & Magic eine Verjüngungstechnologie, die weder das Tragen physischer Geräte noch Markierungen im Gesicht erfordert. Die Schauspieler sind von drei Kameras umgeben, eine für normale Aufnahmen und die anderen beiden für die Aufzeichnung der für die Verjüngung benötigten Daten. Durch die Aufnahme mit Infrarotobjektiven werden die notwendigen Daten gesammelt, um die Aufführung digital wiederzugeben.
Die von der Kamera aufgezeichneten Daten werden mit dem Lichteffekt kombiniert, um die Figur zu verjüngen.
Im Film „Captain America 3: Civil War“ nutzte das Visual-Effects-Team frühe Film- und Fernseharbeiten sowie visuelle Materialien von Robert Downey Jr., um ein auf dem Deepfake-Algorithmus basierendes KI-Modell zu trainieren und die Gesichtsveränderung durchzuführen.
Deepfake, junge Version von Tony Stark
Laut Xu Jian, dem Visual-Effects-Direktor von „The Wandering Earth 2“, begann das Visual-Effects-Team anderthalb Jahre vor Beginn der Dreharbeiten des Films mit technischen Experimenten. Nachdem das Team für visuelle Effekte fünf oder sechs Methoden zur Gesichtsveränderung getestet hatte, entschied es sich schließlich für die dritte Verjüngungsmethode. Basierend auf dem Deepfake-Algorithmus wurde das KI-Modell mit 2D-Materialien der Schauspieler trainiert, als diese jung waren. Nach mehr als 5 Millionen Iterationen wurden die realen Materialien ersetzt.
Überprüfung von Artikeln zur Gesichtsverjüngung und Alterung
《Produktionsreife Gesichtsneugestaltung für visuelle Effekte》
Das Disney-Forschungsteam schlug ein Face Re-Aging Network (kurz FRAN) vor, das Gesichtsbilder in Videos automatisch neu formen kann, ohne ihre Identität zu verlieren, und so einen Verjüngungs- oder Alterungseffekt auf dem Zielgesicht erzielt.
Das eingegebene Porträtalter beträgt 35 Jahre, die oberen und unteren Reihen zeigen ein Alter von 65 Jahren bzw. 18 Jahren.
„Hochauflösende Gesichtsaltersbearbeitung“
In diesem Artikel wird eine Encoder-Decoder-Architektur zur Gesichtsaltersbearbeitung vorgeschlagen, die mit einer einfachen Methode eine hochauflösende Gesichtsaltersbearbeitung ermöglicht und Bilder mit einer Auflösung von 1024 x 1024 ausgeben kann.
Basierend auf dem eingegebenen Gesicht (gelber Rahmen) werden hochwertige Gesichtsbilder verschiedener Altersgruppen ausgegeben
„Nur eine Frage des Stils: Alterstransformation mithilfe eines stilbasierten Regressionsmodells“
In diesem Artikel wird eine Bild-zu-Bild-Übersetzungsmethode vorgeschlagen, die echte Gesichtsbilder direkt in den latenten Raum eines vorab trainierten bedingungslosen GAN für die Alterungstransformation kodiert. Mit nur einem Foto des Motivs können Gesichtszüge jeden Alters bis ins kleinste Detail erstellt werden.
Alterungsergebnisse, die mit der im Artikel vorgeschlagenen SAM-Architektur generiert wurden
Die Technologie zur Gesichtsveränderung auf Pixelebene hat noch einen langen Weg vor sich und benötigt noch Industriestandards
In „The Wandering Earth 2“ basiert die Darstellung der jungen Liu Peiqiang und Tu Hengyu auf dem Deepfake-Algorithmus. Durch die Untersuchung vieler relevanter Dokumente und die Einführung des Visual Effects Director Xu Jian haben wir jedoch erfahren, dass in der späteren Phase der Filmproduktion immer noch professionelles Postproduktionspersonal erforderlich ist, um nach der Gesichtsveränderung komplexe Verbesserungen und Reparaturen an den Charakteren vorzunehmen.
Dies liegt daran, dass die Technologie zur Gesichtsveränderung bei der Verarbeitung einiger Details, wie beispielsweise steifer Ausdrücke und unnatürlicher Augenausdrücke, noch einige Defizite aufweist. Diese „Ungereimtheiten“ werden auf der großen Kinoleinwand zweifellos noch deutlicher hervortreten und beim Publikum Unbehagen hervorrufen.
Die Entwicklung von De-Aging- und Alterungsalgorithmen ist noch weit davon entfernt, eine „perfekte Adaption“ der Charaktere in Film- und Fernsehwerken zu erreichen. Auch die Überwachung des Missbrauchs der Deepfake-Technologie stellt ein potenzielles Risiko und eine Herausforderung dar, der sich die Branche, die Technologie-Community und sogar normale Benutzer stellen müssen. Ich bin sehr gespannt, solch großartige Szenenbilder und visuelle Effekte in einem heimischen Science-Fiction-Film zu sehen. Ich freue mich auf Little Broken Ball 3!
Referenzen: [1] https://www.zhihu.com/question/579613527 [2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302 [3] https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making