GTC '19 Classic Review | 二次元の世界でダンスを振り付け、創作するには？
最近蘇州で開催された GTC China 2019 で、NetEase Leihuo Fuxi Lab は、ゲーム内のアニメーションのパフォーマンスを向上させる AI コレオグラフィー プロジェクトを紹介しました。従来の人手による振り付け技術をAIに応用することで、より短時間でゲームクオリティに見合ったダンスコンテンツを得ることができます。したがって、より多くのプレイヤーが交流して共有することを促進し、同時にゲームの形で歌詞、歌、ダンスを一般に公開することができます。
Tang Shiyi は中国劇舞劇劇場の国家一流俳優であり、国内の主要なダンス大会で多数優勝しています。「Against the Water」は、NetEase Leihuo Fuxi Lab が作成した武術オンライン ゲームで、Wen Ruian の小説「」を原作としています。 ４人の名捕手』。
ある日、タン・シーイーがモーションキャプチャースーツを着て「冷たい水」の制作チームに出演することになるとは誰が想像したでしょうか。彼女の派手で優雅なダンスの姿勢と彼女の視線の魅力は、すぐにゲームのキャラクターであるLi Shishiに反映されました。
これは、「Ni Shui Han」の開発チームが AI を使用して振り付けを行うステップです。開発チームは中国歌劇舞踊劇場チームと協力し、中国文化と古典舞踊をゲームに埋め込み、文化財をゲーム要素の形で継承できるようにしたいと考えています。
アニメーションの品質と革新性を向上させるために、プロの振付師を招き、対応する音楽をもとにダンスの振り付けを行うだけでなく、チームはまた、振り付けプロセスに人工知能を適用し、AIがこれらのプロの動きに基づいてさまざまな音楽に合わせたダンスの振り付けを学習できるようにしました。
Leihuo Fuxi Lab は AI を使用してより良いゲーム体験を作成します
NetEase Group の子会社である NetEase Leihuo Fuxi Laboratory (以下、研究所) は、2007 年に設立された NetEase の杭州初のゲーム スタジオです。同研究所は、「A Chinese Ghost Story」、「Tianyu」、「Nishuihan」という 3 つの主力ゲーム ブランドを次々に開発し、アクション、スポーツ、カジュアル ゲームの分野での試みを行っています。
同研究所は近年、AI分野での取り組みを継続しており、プレイヤーにテクノロジー時代のゲーム体験を生み出すために、ゲーム内でAIをサポートする複数のアプリケーションを立ち上げている。たとえば、「Trendy Basketball」はマルチエージェントで訓練された 3 対 3 の戦闘ロボットを使用し、「Tianyu」は人工知能アルゴリズムを使用してチートなどを検出します。
「The Cold Water」のキャラクターのダンス振り付けプロジェクトでも、ゲーム内のアニメーションのパフォーマンスを向上させ、振り付けの効率を向上させるために、研究室は人工知能技術を使用しました。AI テクノロジーのサポートにより、プレイヤーはキャラクターのダンスの動きを設定するだけでなく、キャラクターを最大限に楽しむためのシーンや照明も設定できます。
AI振付技術はどのように実装されているのでしょうか？この技術の開発者による詳しい説明を聞いてみましょう。
従来の振り付けは非効率的ですが、それを打破するにはどうすればよいでしょうか?
今年12月19日に蘇州で開催されたGTC China 2019で、NetEase Leihuo Fuxi Laboratoryの上級アルゴリズムエンジニアであるWen Xiang氏が、以下のタイトルでプレゼンテーションを行った。「映像情報誘導によるインテリジェント振付システム」のスピーチでは、人工知能を振り付けに使用する方法を探求しました。
Wen Xiang 氏は、ダンスはユーザーの共感を呼びやすいため、ダンスコンテンツに頼るシーンが増えていきますが、プレイヤーと交流します。たとえば、ビデオ ゲーム、VR インタラクション、その他のシナリオです。 Wen Xiang と彼の知的なアニメーション チームも次のことを望んでいます。テクノロジーを活用してアニメーション制作の効率を高め、アニメーションのパフォーマンスを向上させます。
アニメーションダンスコンテンツ制作では、伝統的な方法は 2 つあります。1つは、プロの振付師がプロの機材を使用して音楽のアレンジに基づいてダンスの動きを分離し、それをプロのアニメーターが修正して最終的な作品を得るというものです。もう1つは、ダンスコンテンツを量産する必要がある場合、ダンスの経験のあるダンサーが必要であるということです。 . 音楽をカットして、すでに準備されているダンスの動きを音楽に組み込みます。
ただし、どちらの方法も時間と労力が非常にかかります。そこで、Wen Xiang 氏と彼のチームは、AI を使用して振り付けプロセスを最適化し、音楽に基づいて一致するダンスの動きを自動的に取得できないか考えました。彼らはアイデアに命を吹き込みます。
音楽を聴いたりビデオを見たりした後、AI は振り付けを学習しました
チームが直面した最初の問題は、音楽やダンスの動きのデータに多くのノイズが含まれている一方で、データの量が期待を満たしていないことでした。これらの問題を解決するために、チームは、Douyin、YouTube、その他のプラットフォームにプロの振り付けビデオが多数存在し、これらのビデオには音楽と 2D スケルトン情報が含まれていることを発見しました。また、既存の 2D スケルトン アルゴリズムを使用して、音楽の 2D スケルトン情報を分析し、最終的に 3D アクションと照合することができます。この考えに基づいて、AIコレオグラフィープロジェクトが発足しました。
AI振付の第一歩 Music-Movement Translation Network
AI コレオグラフィーの最初のステップは、音楽とダンスの動きを使用可能なデータに変換することです。これがオーディオ モーション インタープリター ネットワークです。
まず、アーバンダンス、ヒップホップ、中国舞踊などの種類のプロのダンス動画を YouTube から一定量選択します。次に、約 200 のサンプルをキャプチャします。各サンプルには 3 ～ 6 分かかります。 2D スケルトン検出、データの前処理。
チームは、2D スケルトンの表示に影響を与えるストーリーボード、オクルージョン、カメラの急速な動きなどの問題に対処するために、いくつかの倫理ルールを追加しました。処理後、音楽と2Dスケルトンデータが得られます。
ディープラーニングを利用して人間のダンス姿勢を2D骨格データに抽出その後、チームは使用します混合密度ネットワーク (MDN) による身体姿勢の特定の予測、動きを音楽に合わせること。このステップの核心は、音楽に合わせた 2D スケルトンの動き情報を取得することです。
AI振り付けの第2ステップ：フェーズベースの3Dアクションマッチング
2 番目のステップは、3D の動きを 2D スケルトンの動きの情報と照合すること、つまりフェーズベースのダンス マッチングです。
このステップは主に、マッチングのための行動指向の分析に基づいています。ここでの要素には以下が含まれますグローバル モーション フィーチャとローカル カーブ情報、例えば、上半身や下半身の曲線情報。そして16拍を1周期とする理論に基づいて動作を分割します。カットの過程では、ランダムにカットするのではなく、基準に基づいてカットします。 ブレークポイント この時点の動きは、ダンスの動きの転換点であると考えられることがよくあります。
このように、ダンスの動きはさらに細分化された動きに分割されます。これらのアクションは、3D アクション ライブラリ内のアクション情報と照合されます。マッチの各セットがスコアリングされ、最高スコアのアクションが最終的な、最も合理的で美しい出力結果となります。このようなマッチングを経て、最終的に音楽が入力され、完全な 3D ダンスの動きが得られます。
AI 振り付けの 3 番目のステップにより、ダンスがよりプロフェッショナルになり、動きの変数が追加されます。
完全なアクションマッチング、それだけではありません。研究チームは、ダンスストーム、ヒップホップバトル、その他の活動において、マスターたちのダンスには常に何らかの違いがあることを発見した。観察を通じて、彼らは主に次のことが原因であることを発見しました。音楽ハイライトリンクはマスターごとに異なります。
したがって、チームは参加しますアクション変数 (アニメーション ワーピング)、AIマッチングでも同じことができるといいのですが。したがって、最も近いステッピング音楽点を一致させるとき、ステッピング点に近づくと、音楽点を引き伸ばしたり圧縮したりして、アクション カーブの加速度を増加させます。ステッピングポイントの一致度が高まる効果が得られます。
AI の振り付けが無限の想像力を刺激する
報道によると、現在、このプロジェクトは以下に適用されています。マーケティングツール、ゲームゲーム「Ni Shui Han」では、一部のプレイヤーがAI振り付けプロジェクトを使用して男性ゲームキャラクターを魅惑的に踊らせ、ネチズンの注目を集めました。
同じダンスが生成されることを避けるために、チームは出力ネットワークにランダム性も追加しました。そのため、同じ音楽でも異なるダンスが得られ、プレイヤーは作品内で「服の衝突」を心配する必要がなくなりました。
AI テクノロジーのサポートにより、中国文化をゲーム要素に変えて一般に提示し、より広く広めることができると言わざるを得ません。同時に、ゲームはますます面白く、パーソナライズされたものになっています。
NetEase の Fuxi Artificial Intelligence Laboratory 所長である Li Renjie の言葉を借りれば、「AI はゲームをより良くし、世界をより良くする」です。
- 以上 -