11日前

MotionLCM:潜在一貫性モデルを用いたリアルタイム制御可能運動生成

Wenxun Dai, Ling-Hao Chen, Jingbo Wang, Jinpeng Liu, Bo Dai, Yansong Tang
MotionLCM:潜在一貫性モデルを用いたリアルタイム制御可能運動生成
要約

本研究では、リアルタイムレベルでの制御可能運動生成を実現する「MotionLCM」を提案する。従来のテキスト条件付き運動生成における空間的制御手法は、実行時間上の非効率性が大きな課題であった。この問題に対処するため、我々はまず、運動生成のための「運動潜在一貫性モデル(MotionLCM)」を、潜在拡散モデル(MLD)を基盤として初めて提案する。さらに、1ステップ(または少数ステップ)の推論を採用することで、運動潜在拡散モデルの実行時間効率を向上させた。効果的な制御性を確保するため、MotionLCMの潜在空間内に運動ControlNetを組み込み、従来の運動空間における明示的な制御信号(例:骨盤の軌道)を直接生成プロセスに適用可能とする。これは、運動生成における潜在変数フリー拡散モデルの制御と同様のアプローチである。これらの技術を活用することで、本手法はテキストおよび制御信号を用いて人間の運動をリアルタイムで生成することが可能となる。実験結果から、MotionLCMが優れた生成能力と制御性能を発揮するとともに、リアルタイム実行効率を維持していることが示された。

MotionLCM:潜在一貫性モデルを用いたリアルタイム制御可能運動生成 | 最新論文 | HyperAI超神経