11日前

MCM:マルチコンディション・モーション合成フレームワーク

Zeyu Ling, Bo Han, Yongkang Wongkan, Han Lin, Mohan Kankanhalli, Weidong Geng
MCM:マルチコンディション・モーション合成フレームワーク
要約

条件付き人体運動生成(Conditional Human Motion Synthesis, HMS)は、特定の条件下に従った人体運動シーケンスを生成することを目的としている。テキストと音声は、HMSの制御条件として用いられる代表的な2つのモダリティである。既存の研究は主に単一の条件に焦点を当てているが、多条件同時制御に基づくHMSは依然として十分に探求されていない。本研究では、メインブランチと制御ブランチから構成される二重ブランチ構造を採用した多条件HMSフレームワーク「MCM」を提案する。このフレームワークにより、当初テキスト条件に限定されていた拡散モデル(diffusion model)の適用範囲を音声条件へと効果的に拡張した。この拡張は、音楽からダンスへの変換(music-to-dance)および会話と併存する運動生成(co-speech HMS)の両方をカバーしつつ、元のモデルが備える運動の質の高さおよび意味的関連性の把握能力を維持している。さらに、メインブランチとしてTransformerベースの拡散モデル「MWNet」を提案する。このモデルは、マルチワイズ自己注意(multi-wise self-attention)モジュールの導入により、運動シーケンスに内在する空間的複雑性および関節間の相関関係を効果的に捉えることができる。広範な実験結果から、本手法が単一条件および多条件HMSタスクにおいて競争力のある性能を達成することが示された。

MCM:マルチコンディション・モーション合成フレームワーク | 最新論文 | HyperAI超神経