「The Wandering Earth 2」ディープフェイク小規模テスト、45歳以上のウー・ジンは若返ったように「感じられ」、21歳の若者に変身した

『流浪の地球2』は8日間公開されており、累計興行収入は24億を超え、36の記録を破り、91のマイルストーンを達成した。中でも21歳の鮮肉の劉培強（ウー・ジン演じる）と若くハンサムな屠恒宇（アンディ・ラウ演じる）は観客に深い印象を残した。

Wandering Earth の公式 Weibo アカウントに投稿されたビデオでは、顔が変化する特殊効果の背後にある複雑なエンジニアリングの難しさが説明されていました。

ウー・ジン: 私の若くてハンサムな顔のビデオを見て怖がらないでください
出典: @电影夜生活官方微博

Zhihuで「『The Wandering Earth 2』の舞台裏にある知られざる制作上の問題は何ですか？」と尋ねられたとき、『The Wandering Earth 2』の視覚効果ディレクターでMOREVFXの創設者であるXu Jian氏は、最初の技術的な問題は「デベロッパー」であることを認めました。 -エイジング』デジタル 年齢を変える。

完全な答え

数字が年齢を変える、45歳以上のウー・ジンが21歳の若者に変わる

ディエイジングとは、映画やテレビ作品に適用される視覚的特殊効果技術で、特定のシーンで俳優の若返りを実現するためにデジタル編集 (デジタル編集) またはコンピューター グラフィックス (CG) 技術を使用することを指します。

映画「流浪の地球2」では、ウー・ジン、アンディ・ラウ、ワン・ジーなどの俳優が演じる役はすべて、登場人物の若返り、つまり脱老化に関係しています。

Wu Jing の若い頃の 2D 素材を使用して AI モデルをトレーニングし、老化を防止し、実写素材の顔の置き換えを完了します。

ちょっとした補足: 映画のプロットによると、劉沛強の誕生年はちょうど 2023 年です。

ウー・ジンを例に挙げると、実際にはこの映画を撮影したとき、ウー・ジンは 45 歳以上でした (百度百科の情報によると) が、映画では 2044 年に劉沛強はまだ 21 歳でした。45 歳以上の俳優が挑戦しました。 21 歳の「シャオシアン」「ミート」を演じるには、技術的なサポートが必要です。

主流の3つのデエイジング方法のまとめ

実は、当時世界的に主流だったディエイジング法は3つに分類されていました。

この方法は 2 つの主なステップに分かれています。

• デジタル人材の育成と高齢化の解消

俳優が着用している表情キャプチャ デバイスを通じて、俳優がスキャンされ、ターゲットの俳優のデジタル ヒューマンが作成されるデータベースが生成されます。その後、デジタル ヒューマンは、俳優の初期のキャリアの静止画とビデオ素材に基づいて老化解除されます。

• 俳優が着用するモーション キャプチャ装置に基づいたデジタル ヒューマンのアニメーション

『The Wandering Earth 2』の視覚効果監督Xu Jian氏がZhihuで共有した情報によると、この方法には多額の予算がかかり、関連する国内の人材が不足しており、身体の装備が戦闘シーンの撮影や俳優の演技の伝達に影響を与える可能性があるという。パフォーマンスの感情。

ウィル・スミスは動きや表情を捉えるための機器を着用

映画「アイリッシュマン」では、インダストリアル ライト & マジックは、物理的な機器を着用したり顔にマーキングをしたりする必要のない老化防止技術を開発しました。俳優は 3 台のカメラ (1 台は通常の撮影位置にあり、他の 2 台は撮影位置にありました) に囲まれていました。ディエイジングに必要なデータの記録、赤外線レンズの撮影による必要なデータの収集、パフォーマンスのデジタル再現を担当します。

カメラによって記録されたデータは、キャラクターの老化を防ぐための光の影響と組み合わされます。

映画『シビル・ウォー／キャプテン・アメリカ』では、視覚効果チームがロバート・ダウニー・ジュニアの初期の映画やテレビ作品とビジュアル素材を使用して、ディープフェイクアルゴリズムに基づいてAIモデルをトレーニングし、顔を完全に置き換えました。

アイアンマン トニー・スタークの若いバージョンのディープフェイク

「流浪の地球 2」の視覚効果監督 Xu Jian 氏によると、視覚効果チームは映画の撮影が始まる 1 年半前に技術的な実験を開始し、5 ～ 6 種類の顔変更方法をテストした後、視覚効果を決定しました。チームは最終的にデ・エージング手法を使用することを決定しました。ディープフェイクアルゴリズムに基づいており、俳優の若い頃の2D素材を使用してAIモデルをトレーニングし、最終的に500万回以上の反復を行った後、実際のショット素材が作成されます。交換されました。

顔の若返りと老化に関する論文のレビュー

《視覚効果のためのプロダクション対応の顔の再エイジング》

DisneyResearch チームは、FRAN と呼ばれる Face Re-Aging Network を提案しました。これは、アイデンティティを失わずにビデオ内の顔画像を自動的に再形成し、目標の顔の若返りまたは老化効果を達成できます。

肖像年齢を 35 歳として入力し、上段と下段はそれぞれ 65 歳と 18 歳に再老化しています。

「高解像度顔年齢編集」

本稿では、簡単な方法で高解像度の顔年齢編集を実現し、1024*1024解像度の画像を出力できる顔年齢編集のためのエンコーダ・デコーダアーキテクチャを提案する。

入力された顔（黄色のボックス）に基づいて、さまざまな年齢層の高画質な顔画像を出力します

「スタイルだけの問題: スタイルベースの回帰モデルを使用した年齢の変換」

この論文では、実際の顔画像を、経年変化変換のために事前に訓練された無条件 GAN の潜在空間に直接エンコードする、画像から画像への変換方法を提案します。被写体のたった 1 枚の写真から、あらゆる年齢の顔を、シワひとつひとつまで生成できます。

論文で提案されている SAM アーキテクチャを使用して生成されたエージング結果

ピクセルレベルの顔を変更するテクノロジーには長い道のりがあり、業界標準がまだ必要です

「The Wandering Earth 2」では、若いLiu PeiqiangとTu Hengyuのプレゼンテーションはディープフェイクアルゴリズムに基づいていますが、多くの関連論文を調査し、視覚効果監督のXu Jianの導入と組み合わせることで、後の段階でであることがわかります。映画制作では、顔を変更した後、専門の後処理担当者がキャラクターの複雑な改善と修復を行う必要があります。

なぜなら、顔交換技術にはまだ硬直した表情や不自然な目の表情など、細部の処理に不備があるためです。これらの「違和感」は、間違いなく大画面では増幅され、視聴者に不快感を与えることになります。

年齢を減らすアルゴリズムと年齢を増やすアルゴリズムの開発は、映画やテレビ作品の登場人物に「完璧に適合」するまでにはまだ長い道のりがあるかもしれない。また、ディープフェイク技術が悪用されないよう監視する方法もある。これは業界やテクノロジー界にとっての問題であり、一般ユーザーにとっても直面しなければならない潜在的なリスクと課題です。このような素晴らしいシーンデザインと視覚効果を備えた国産の SF 映画を見ることができてとても興奮しています。『ブロークン ボール 3』を楽しみにしています。

参考リンク: [1] https://www.zhihu.com/question/579613527[2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302[3] https://www. respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making

内容の概要: 春節の SF 映画「The Wandering Earth 2」では、ウー ジン、アンディ ラウ、シャ イーなどが 14 年間にわたって演じました。視覚効果チームはディープフェイクの老化防止技術を使用して俳優を表現しました。さまざまな年齢での登場。
キーワード: 脱老化ディープフェイク放浪地球

『流浪の地球2』は8日間公開されており、累計興行収入は24億を超え、36の記録を破り、91のマイルストーンを達成した。中でも21歳の鮮肉の劉培強（ウー・ジン演じる）と若くハンサムな屠恒宇（アンディ・ラウ演じる）は観客に深い印象を残した。

Wandering Earth の公式 Weibo アカウントに投稿されたビデオでは、顔が変化する特殊効果の背後にある複雑なエンジニアリングの難しさが説明されていました。

ウー・ジン: 私の若くてハンサムな顔のビデオを見て怖がらないでください
出典: @电影夜生活官方微博

Zhihuで「『The Wandering Earth 2』の舞台裏にある知られざる制作上の問題は何ですか？」と尋ねられたとき、『The Wandering Earth 2』の視覚効果ディレクターでMOREVFXの創設者であるXu Jian氏は、最初の技術的な問題は「デベロッパー」であることを認めました。 -エイジング』デジタル 年齢を変える。

完全な答え

数字が年齢を変える、45歳以上のウー・ジンが21歳の若者に変わる

ディエイジングとは、映画やテレビ作品に適用される視覚的特殊効果技術で、特定のシーンで俳優の若返りを実現するためにデジタル編集 (デジタル編集) またはコンピューター グラフィックス (CG) 技術を使用することを指します。

映画「流浪の地球2」では、ウー・ジン、アンディ・ラウ、ワン・ジーなどの俳優が演じる役はすべて、登場人物の若返り、つまり脱老化に関係しています。

Wu Jing の若い頃の 2D 素材を使用して AI モデルをトレーニングし、老化を防止し、実写素材の顔の置き換えを完了します。

ちょっとした補足: 映画のプロットによると、劉沛強の誕生年はちょうど 2023 年です。

ウー・ジンを例に挙げると、実際にはこの映画を撮影したとき、ウー・ジンは 45 歳以上でした (百度百科の情報によると) が、映画では 2044 年に劉沛強はまだ 21 歳でした。45 歳以上の俳優が挑戦しました。 21 歳の「シャオシアン」「ミート」を演じるには、技術的なサポートが必要です。

主流の3つのデエイジング方法のまとめ

実は、当時世界的に主流だったディエイジング法は3つに分類されていました。

この方法は 2 つの主なステップに分かれています。

• デジタル人材の育成と高齢化の解消

俳優が着用している表情キャプチャ デバイスを通じて、俳優がスキャンされ、ターゲットの俳優のデジタル ヒューマンが作成されるデータベースが生成されます。その後、デジタル ヒューマンは、俳優の初期のキャリアの静止画とビデオ素材に基づいて老化解除されます。

• 俳優が着用するモーション キャプチャ装置に基づいたデジタル ヒューマンのアニメーション

『The Wandering Earth 2』の視覚効果監督Xu Jian氏がZhihuで共有した情報によると、この方法には多額の予算がかかり、関連する国内の人材が不足しており、身体の装備が戦闘シーンの撮影や俳優の演技の伝達に影響を与える可能性があるという。パフォーマンスの感情。

ウィル・スミスは動きや表情を捉えるための機器を着用

映画「アイリッシュマン」では、インダストリアル ライト & マジックは、物理的な機器を着用したり顔にマーキングをしたりする必要のない老化防止技術を開発しました。俳優は 3 台のカメラ (1 台は通常の撮影位置にあり、他の 2 台は撮影位置にありました) に囲まれていました。ディエイジングに必要なデータの記録、赤外線レンズの撮影による必要なデータの収集、パフォーマンスのデジタル再現を担当します。

カメラによって記録されたデータは、キャラクターの老化を防ぐための光の影響と組み合わされます。

映画『シビル・ウォー／キャプテン・アメリカ』では、視覚効果チームがロバート・ダウニー・ジュニアの初期の映画やテレビ作品とビジュアル素材を使用して、ディープフェイクアルゴリズムに基づいてAIモデルをトレーニングし、顔を完全に置き換えました。

アイアンマン トニー・スタークの若いバージョンのディープフェイク

「流浪の地球 2」の視覚効果監督 Xu Jian 氏によると、視覚効果チームは映画の撮影が始まる 1 年半前に技術的な実験を開始し、5 ～ 6 種類の顔変更方法をテストした後、視覚効果を決定しました。チームは最終的にデ・エージング手法を使用することを決定しました。ディープフェイクアルゴリズムに基づいており、俳優の若い頃の2D素材を使用してAIモデルをトレーニングし、最終的に500万回以上の反復を行った後、実際のショット素材が作成されます。交換されました。

顔の若返りと老化に関する論文のレビュー

《視覚効果のためのプロダクション対応の顔の再エイジング》

DisneyResearch チームは、FRAN と呼ばれる Face Re-Aging Network を提案しました。これは、アイデンティティを失わずにビデオ内の顔画像を自動的に再形成し、目標の顔の若返りまたは老化効果を達成できます。

肖像年齢を 35 歳として入力し、上段と下段はそれぞれ 65 歳と 18 歳に再老化しています。

「高解像度顔年齢編集」

本稿では、簡単な方法で高解像度の顔年齢編集を実現し、1024*1024解像度の画像を出力できる顔年齢編集のためのエンコーダ・デコーダアーキテクチャを提案する。

入力された顔（黄色のボックス）に基づいて、さまざまな年齢層の高画質な顔画像を出力します

「スタイルだけの問題: スタイルベースの回帰モデルを使用した年齢の変換」

この論文では、実際の顔画像を、経年変化変換のために事前に訓練された無条件 GAN の潜在空間に直接エンコードする、画像から画像への変換方法を提案します。被写体のたった 1 枚の写真から、あらゆる年齢の顔を、シワひとつひとつまで生成できます。

論文で提案されている SAM アーキテクチャを使用して生成されたエージング結果

ピクセルレベルの顔を変更するテクノロジーには長い道のりがあり、業界標準がまだ必要です

「The Wandering Earth 2」では、若いLiu PeiqiangとTu Hengyuのプレゼンテーションはディープフェイクアルゴリズムに基づいていますが、多くの関連論文を調査し、視覚効果監督のXu Jianの導入と組み合わせることで、後の段階でであることがわかります。映画制作では、顔を変更した後、専門の後処理担当者がキャラクターの複雑な改善と修復を行う必要があります。

なぜなら、顔交換技術にはまだ硬直した表情や不自然な目の表情など、細部の処理に不備があるためです。これらの「違和感」は、間違いなく大画面では増幅され、視聴者に不快感を与えることになります。

年齢を減らすアルゴリズムと年齢を増やすアルゴリズムの開発は、映画やテレビ作品の登場人物に「完璧に適合」するまでにはまだ長い道のりがあるかもしれない。また、ディープフェイク技術が悪用されないよう監視する方法もある。これは業界やテクノロジー界にとっての問題であり、一般ユーザーにとっても直面しなければならない潜在的なリスクと課題です。このような素晴らしいシーンデザインと視覚効果を備えた国産の SF 映画を見ることができてとても興奮しています。『ブロークン ボール 3』を楽しみにしています。

参考リンク: [1] https://www.zhihu.com/question/579613527[2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302[3] https://www. respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making