HyperAIHyperAI

Command Palette

Search for a command to run...

AnimaX: 無生物の3Dアニメーションを関節ビデオ-ポーズ拡散モデルで実現

Zehuan Huang Haoran Feng Yangtian Sun Yuanchen Guo Yanpei Cao Lu Sheng

概要

私たちはAnimaXを紹介します。これは、ビデオ拡散モデルの運動事前知識と、骨格ベースアニメーションの制御可能な構造をつなぐフィードフォワード3Dアニメーションフレームワークです。従来の運動合成手法は、固定された骨格トポロジーに制限されるか、高次元変形空間での高コストな最適化が必要です。これに対して、AnimaXはビデオに基づく運動知識を3Dドメインに効果的に転送し、任意の骨格を持つ多様な関節メッシュをサポートします。当手法では、3D運動をマルチビュー・マルチフレーム2D姿勢マップとして表現し、テンプレートレンダリングとテキストによる運動プロンプトに基づいて同時的なビデオ-姿勢拡散を可能にします。また、共有位置エンコーディングとモダリティ対応埋め込み(modality-aware embeddings)を導入することで、ビデオと姿勢シーケンス間の空間時間的整合性を確保し、ビデオ事前知識を運動生成タスクに効果的に転送します。得られたマルチビュー姿勢シーケンスは3D関節位置に三角測量され、逆運動学によりメッシュアニメーションに変換されます。新規収集した16万件のリギングシーケンスデータセットで訓練されたAnimaXは、VBenchにおいて汎化能力、運動忠実度、効率性において最先端の結果を達成しており、カテゴリ非依存の3Dアニメーションに対するスケーラブルな解決策を提供しています。プロジェクトページ: https://anima-x.github.io/{https://anima-x.github.io/}


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています