AnimaX: 無生物の3Dアニメーションを関節ビデオ-ポーズ拡散モデルで実現

私たちはAnimaXを紹介します。これは、ビデオ拡散モデルの運動事前知識と、骨格ベースアニメーションの制御可能な構造をつなぐフィードフォワード3Dアニメーションフレームワークです。従来の運動合成手法は、固定された骨格トポロジーに制限されるか、高次元変形空間での高コストな最適化が必要です。これに対して、AnimaXはビデオに基づく運動知識を3Dドメインに効果的に転送し、任意の骨格を持つ多様な関節メッシュをサポートします。当手法では、3D運動をマルチビュー・マルチフレーム2D姿勢マップとして表現し、テンプレートレンダリングとテキストによる運動プロンプトに基づいて同時的なビデオ-姿勢拡散を可能にします。また、共有位置エンコーディングとモダリティ対応埋め込み（modality-aware embeddings）を導入することで、ビデオと姿勢シーケンス間の空間時間的整合性を確保し、ビデオ事前知識を運動生成タスクに効果的に転送します。得られたマルチビュー姿勢シーケンスは3D関節位置に三角測量され、逆運動学によりメッシュアニメーションに変換されます。新規収集した16万件のリギングシーケンスデータセットで訓練されたAnimaXは、VBenchにおいて汎化能力、運動忠実度、効率性において最先端の結果を達成しており、カテゴリ非依存の3Dアニメーションに対するスケーラブルな解決策を提供しています。プロジェクトページ: https://anima-x.github.io/{https://anima-x.github.io/}