Command Palette
Search for a command to run...
Wan-Animate:包括包括全体的再現を用いた統一的キャラクターアニメーションとリプレースメント
Wan-Animate:包括包括全体的再現を用いた統一的キャラクターアニメーションとリプレースメント
概要
我々は、キャラクターのアニメーションおよびキャラクター置換を統合的に実現するフレームワーク「Wan-Animate」を提案する。与えられたキャラクター画像と参照動画に基づき、Wan-Animateは参照動画内のキャラクターの表情や動きを正確に再現することで、高忠実度のキャラクター動画を生成する。あるいは、アニメーション化されたキャラクターを参照動画に統合し、元のキャラクターを置き換えることも可能であり、シーンの照明条件や色彩トーンを再現することで、環境への自然な統合を実現する。Wan-AnimateはWanモデルを基盤として構築されており、キャラクターアニメーションタスクに適応させるために、生成対象の領域と参照条件を明確に区別する修正された入力パラダイムを採用している。この設計により、複数のタスクが共通の記号表現に統合される。空間的に整合されたスケルトン信号を用いて身体の動きを再現し、ソース画像から抽出された陰伏的な顔面特徴を活用して表情を再現することで、高い制御性と表現力を備えたキャラクター動画の生成を可能にする。さらに、キャラクター置換時の環境統合性を向上させるために、補助的な「Relighting LoRA」モジュールを開発した。このモジュールは、キャラクターの外見の一貫性を保持しつつ、適切な環境照明と色彩トーンを適用する。実験結果から、Wan-Animateが最先端の性能を達成することが示された。本研究では、モデル重みおよびソースコードのオープンソース化を進めていくことを宣言する。