Essai Deepfake De « The Wandering Earth 2 », Wu Jing, 45 Ans Et Plus, « Rajeuni », Transformé En Un Garçon De 21 Ans
« The Wandering Earth 2 » a rapporté plus de 2,4 milliards de yuans en seulement 8 jours depuis sa sortie, battant 36 records et réalisant 91 réalisations marquantes. Parmi eux, le jeune acteur de 21 ans Liu Peiqiang (joué par Wu Jing) et le jeune et beau Tu Hengyu (joué par Andy Lau) ont laissé une profonde impression sur le public.
Une vidéo publiée sur le compte officiel Weibo de The Wandering Earth décrit la complexité technique des effets spéciaux de changement de visage.
Wu Jing : Ne soyez pas effrayé par mon jeune et beau visage
Source : @The Wandering Earth Weibo officiel
Dans une question sur Zhihu intitulée « Quels sont les défis de production inconnus dans les coulisses de « The Wandering Earth 2 » ? », Xu Jian, superviseur des effets visuels de « The Wandering Earth 2 » et fondateur de MOREVFX, a admis que la première difficulté technique est le « vieillissement ».
Changement d'ère numérique, Wu Jing, 45 ans et plus, transformé en un beau garçon de 21 ans
Le dé-vieillissement est une technologie d’effets visuels utilisée dans les œuvres cinématographiques et télévisuelles. Il s'agit de l'utilisation du montage numérique ou de la technologie d'infographie (CG) pour donner aux acteurs une apparence plus jeune dans des scènes spécifiques.
Dans le film « The Wandering Earth 2 », les personnages joués par les acteurs Wu Jing, Andy Lau, Wang Zhi et bien d'autres impliquent tous le rajeunissement des personnages, c'est-à-dire le rajeunissement.
Le modèle d'IA a été formé avec des images 2D de Wu Jing lorsqu'il était jeune pour effectuer un rajeunissement et un changement complet de visage pour des images réelles.
Petit plus : selon l'intrigue du film, Liu Peiqiang est né en 2023.
Prenons l’exemple de Wu Jing. En réalité, Wu Jing avait plus de 45 ans lors du tournage de ce film (calculé selon l'Encyclopédie Baidu), mais Liu Peiqiang n'avait que 21 ans en 2044 dans le film. Pour qu'un acteur de plus de 45 ans se lance le défi de jouer un « jeune homme frais » de 21 ans, il a vraiment besoin d'un soutien technique.
3 principales méthodes de rajeunissement
En fait, les principales méthodes de rajeunissement dans le monde à cette époque étaient divisées en trois catégories.
La méthode comprend deux étapes principales :
- Créer des humains numériques et les rajeunir
Grâce au dispositif de capture d'expression porté par l'acteur, l'acteur est scanné et une base de données est générée pour créer une personne numérique de l'acteur cible. La personne numérique est ensuite rajeunie à partir d'images fixes et de séquences vidéo du début de carrière de l'acteur.
- Animation d'humains numériques basée sur un équipement de capture de mouvement porté par des acteurs
Selon Xu Jian, directeur des effets visuels de « The Wandering Earth 2 », cette méthode a un budget élevé, il y a une pénurie de talents concernés en Chine et l'équipement sur le corps peut affecter le tournage des scènes de combat et l'expression des émotions des acteurs.
Will Smith porte un équipement de capture de mouvement et d'expression
Dans le film « The Irishman », Industrial Light & Magic a développé une technologie anti-âge qui ne nécessite pas le port d'équipement physique ni de marquage sur le visage. Les acteurs sont entourés de trois caméras, une pour le tournage normal, et les deux autres pour l'enregistrement des données nécessaires au rajeunissement. Les données nécessaires sont collectées en tirant avec des lentilles infrarouges pour reproduire numériquement la performance.
Les données enregistrées par la caméra sont combinées à l'effet de lumière pour rajeunir le personnage.
Dans le film « Captain America 3 : Civil War », l'équipe des effets visuels a utilisé les premiers travaux cinématographiques et télévisuels de Robert Downey Jr. et des supports visuels pour former un modèle d'IA basé sur l'algorithme Deepfake et terminer le changement de visage.
Deepfake version jeune de Tony Stark
Selon Xu Jian, directeur des effets visuels de « The Wandering Earth 2 », l'équipe des effets visuels a commencé les expériences techniques un an et demi avant le début du tournage du film. Après avoir testé 5 ou 6 méthodes de changement de visage, l'équipe des effets visuels a finalement décidé d'adopter la troisième méthode de rajeunissement. Basé sur l'algorithme Deepfake, le modèle d'IA a été formé avec des matériaux 2D des acteurs lorsqu'ils étaient jeunes. Après plus de 5 millions d’itérations, les matériaux réels ont été remplacés.
Revue d'articles sur le rajeunissement et le vieillissement du visage
《Re-vieillissement du visage prêt pour la production pour les effets visuels》
L'équipe de recherche de Disney a proposé un réseau de remodelage du visage, ou FRAN en abrégé, qui peut remodeler automatiquement les images faciales dans les vidéos sans perdre leur identité, obtenant ainsi un effet de rajeunissement ou de vieillissement sur le visage cible.
L'âge du portrait d'entrée est de 35 ans, les rangées supérieure et inférieure sont respectivement de 65 ans et 18 ans.
« Retouche de vieillissement du visage haute résolution »
Cet article propose une architecture d'encodeur-décodeur pour l'édition de l'âge du visage, qui utilise une méthode simple pour réaliser une édition de l'âge du visage en haute résolution et peut produire des images avec une résolution de 1024*1024.
Sur la base du visage d'entrée (cadre jaune), des images de visage de haute qualité de différents groupes d'âge sont générées
« Une question de style : transformation de l'âge à l'aide d'un modèle de régression basé sur le style »
Cet article propose une méthode de traduction d'image en image qui code directement les images faciales réelles dans l'espace latent d'un GAN inconditionnel pré-entraîné pour la transformation du vieillissement. Avec une seule photo du sujet, il est possible de générer des traits du visage de tous âges, précis à chaque ride.
Résultats de vieillissement générés à l'aide de l'architecture SAM proposée dans l'article
La technologie de changement de visage au niveau des pixels a encore un long chemin à parcourir et nécessite encore des normes industrielles
Dans « The Wandering Earth 2 », la présentation des jeunes Liu Peiqiang et Tu Hengyu est basée sur l'algorithme Deepfake. Cependant, en examinant de nombreux articles connexes et en combinant l'introduction du directeur des effets visuels Xu Jian, nous avons appris qu'à un stade ultérieur de la production cinématographique, du personnel de post-production professionnel est toujours nécessaire pour effectuer des améliorations et des réparations complexes sur les personnages après le changement de visage.
Cela est dû au fait que la technologie de changement de visage présente encore quelques lacunes dans le traitement de certains détails, comme les expressions raides et les expressions oculaires non naturelles. Ces « incohérences » seront sans doute amplifiées sur grand écran, provoquant un malaise chez le public.
Le développement d'algorithmes de vieillissement et de dé-vieillissement a encore un long chemin à parcourir pour parvenir à une « adaptation parfaite » avec les personnages des œuvres cinématographiques et télévisuelles. La manière de surveiller les abus de la technologie Deepfake constitue également un risque et un défi potentiels auxquels l’industrie, la communauté technologique et même les utilisateurs ordinaires doivent faire face. Je suis très excité de voir une conception de scène et des effets visuels aussi magnifiques dans un film de science-fiction national. J'attends avec impatience Little Broken Ball 3 !
Références : [1] https://www.zhihu.com/question/579613527 [2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302 [3] https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making
Aperçu du contenu : Dans le film de science-fiction du Festival du Printemps « The Wandering Earth 2 », les personnages interprétés par Wu Jing, Andy Lau, Sha Yi et d'autres s'étendent sur 14 ans. L'équipe des effets visuels a utilisé la technologie de rajeunissement Deepfake pour présenter l'apparence des acteurs à différents âges.
Mots-clés : De-aging Deepfake La Terre errante
« The Wandering Earth 2 » a rapporté plus de 2,4 milliards de yuans en seulement 8 jours depuis sa sortie, battant 36 records et réalisant 91 réalisations marquantes. Parmi eux, le jeune acteur de 21 ans Liu Peiqiang (joué par Wu Jing) et le jeune et beau Tu Hengyu (joué par Andy Lau) ont laissé une profonde impression sur le public.
Une vidéo publiée sur le compte officiel Weibo de The Wandering Earth décrit la complexité technique des effets spéciaux de changement de visage.
Wu Jing : Ne soyez pas effrayé par mon jeune et beau visage
Source : @The Wandering Earth Weibo officiel
Dans une question sur Zhihu intitulée « Quels sont les défis de production inconnus dans les coulisses de « The Wandering Earth 2 » ? », Xu Jian, superviseur des effets visuels de « The Wandering Earth 2 » et fondateur de MOREVFX, a admis que la première difficulté technique est le « vieillissement ».
Changement d'ère numérique, Wu Jing, 45 ans et plus, transformé en un beau garçon de 21 ans
Le dé-vieillissement est une technologie d’effets visuels utilisée dans les œuvres cinématographiques et télévisuelles. Il s'agit de l'utilisation du montage numérique ou de la technologie d'infographie (CG) pour donner aux acteurs une apparence plus jeune dans des scènes spécifiques.
Dans le film « The Wandering Earth 2 », les personnages joués par les acteurs Wu Jing, Andy Lau, Wang Zhi et bien d'autres impliquent tous le rajeunissement des personnages, c'est-à-dire le rajeunissement.
Le modèle d'IA a été formé avec des images 2D de Wu Jing lorsqu'il était jeune pour effectuer un rajeunissement et un changement complet de visage pour des images réelles.
Petit plus : selon l'intrigue du film, Liu Peiqiang est né en 2023.
Prenons l’exemple de Wu Jing. En réalité, Wu Jing avait plus de 45 ans lors du tournage de ce film (calculé selon l'Encyclopédie Baidu), mais Liu Peiqiang n'avait que 21 ans en 2044 dans le film. Pour qu'un acteur de plus de 45 ans se lance le défi de jouer un « jeune homme frais » de 21 ans, il a vraiment besoin d'un soutien technique.
3 principales méthodes de rajeunissement
En fait, les principales méthodes de rajeunissement dans le monde à cette époque étaient divisées en trois catégories.
La méthode comprend deux étapes principales :
- Créer des humains numériques et les rajeunir
Grâce au dispositif de capture d'expression porté par l'acteur, l'acteur est scanné et une base de données est générée pour créer une personne numérique de l'acteur cible. La personne numérique est ensuite rajeunie à partir d'images fixes et de séquences vidéo du début de carrière de l'acteur.
- Animation d'humains numériques basée sur un équipement de capture de mouvement porté par des acteurs
Selon Xu Jian, directeur des effets visuels de « The Wandering Earth 2 », cette méthode a un budget élevé, il y a une pénurie de talents concernés en Chine et l'équipement sur le corps peut affecter le tournage des scènes de combat et l'expression des émotions des acteurs.
Will Smith porte un équipement de capture de mouvement et d'expression
Dans le film « The Irishman », Industrial Light & Magic a développé une technologie anti-âge qui ne nécessite pas le port d'équipement physique ni de marquage sur le visage. Les acteurs sont entourés de trois caméras, une pour le tournage normal, et les deux autres pour l'enregistrement des données nécessaires au rajeunissement. Les données nécessaires sont collectées en tirant avec des lentilles infrarouges pour reproduire numériquement la performance.
Les données enregistrées par la caméra sont combinées à l'effet de lumière pour rajeunir le personnage.
Dans le film « Captain America 3 : Civil War », l'équipe des effets visuels a utilisé les premiers travaux cinématographiques et télévisuels de Robert Downey Jr. et des supports visuels pour former un modèle d'IA basé sur l'algorithme Deepfake et terminer le changement de visage.
Deepfake version jeune de Tony Stark
Selon Xu Jian, directeur des effets visuels de « The Wandering Earth 2 », l'équipe des effets visuels a commencé les expériences techniques un an et demi avant le début du tournage du film. Après avoir testé 5 ou 6 méthodes de changement de visage, l'équipe des effets visuels a finalement décidé d'adopter la troisième méthode de rajeunissement. Basé sur l'algorithme Deepfake, le modèle d'IA a été formé avec des matériaux 2D des acteurs lorsqu'ils étaient jeunes. Après plus de 5 millions d’itérations, les matériaux réels ont été remplacés.
Revue d'articles sur le rajeunissement et le vieillissement du visage
《Re-vieillissement du visage prêt pour la production pour les effets visuels》
L'équipe de recherche de Disney a proposé un réseau de remodelage du visage, ou FRAN en abrégé, qui peut remodeler automatiquement les images faciales dans les vidéos sans perdre leur identité, obtenant ainsi un effet de rajeunissement ou de vieillissement sur le visage cible.
L'âge du portrait d'entrée est de 35 ans, les rangées supérieure et inférieure sont respectivement de 65 ans et 18 ans.
« Retouche de vieillissement du visage haute résolution »
Cet article propose une architecture d'encodeur-décodeur pour l'édition de l'âge du visage, qui utilise une méthode simple pour réaliser une édition de l'âge du visage en haute résolution et peut produire des images avec une résolution de 1024*1024.
Sur la base du visage d'entrée (cadre jaune), des images de visage de haute qualité de différents groupes d'âge sont générées
« Une question de style : transformation de l'âge à l'aide d'un modèle de régression basé sur le style »
Cet article propose une méthode de traduction d'image en image qui code directement les images faciales réelles dans l'espace latent d'un GAN inconditionnel pré-entraîné pour la transformation du vieillissement. Avec une seule photo du sujet, il est possible de générer des traits du visage de tous âges, précis à chaque ride.
Résultats de vieillissement générés à l'aide de l'architecture SAM proposée dans l'article
La technologie de changement de visage au niveau des pixels a encore un long chemin à parcourir et nécessite encore des normes industrielles
Dans « The Wandering Earth 2 », la présentation des jeunes Liu Peiqiang et Tu Hengyu est basée sur l'algorithme Deepfake. Cependant, en examinant de nombreux articles connexes et en combinant l'introduction du directeur des effets visuels Xu Jian, nous avons appris qu'à un stade ultérieur de la production cinématographique, du personnel de post-production professionnel est toujours nécessaire pour effectuer des améliorations et des réparations complexes sur les personnages après le changement de visage.
Cela est dû au fait que la technologie de changement de visage présente encore quelques lacunes dans le traitement de certains détails, comme les expressions raides et les expressions oculaires non naturelles. Ces « incohérences » seront sans doute amplifiées sur grand écran, provoquant un malaise chez le public.
Le développement d'algorithmes de vieillissement et de dé-vieillissement a encore un long chemin à parcourir pour parvenir à une « adaptation parfaite » avec les personnages des œuvres cinématographiques et télévisuelles. La manière de surveiller les abus de la technologie Deepfake constitue également un risque et un défi potentiels auxquels l’industrie, la communauté technologique et même les utilisateurs ordinaires doivent faire face. Je suis très excité de voir une conception de scène et des effets visuels aussi magnifiques dans un film de science-fiction national. J'attends avec impatience Little Broken Ball 3 !
Références : [1] https://www.zhihu.com/question/579613527 [2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302 [3] https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making