11日前

MoFusion:ノイズ除去拡散に基づくモーション合成のためのフレームワーク

Rishabh Dabral, Muhammad Hamza Mughal, Vladislav Golyanik, Christian Theobalt
MoFusion:ノイズ除去拡散に基づくモーション合成のためのフレームワーク
要約

従来の人間の動き生成手法は、決定論的であるか、あるいは動きの多様性と品質の間にトレードオフを抱えるという課題を抱えていました。こうした限界に対応するため、本研究では、音楽やテキストなどの多様な条件情報に基づいて、長時間にわたり時系列的に妥当かつ意味的に正確な動きを生成できる、高品質な条件付き人間運動生成を実現する新しいノイズ除去拡散ベースのフレームワーク「MoFusion」を提案します。また、我々はスケジュールされた重み付け戦略を用いて、運動拡散フレームワーク内に既知の運動学的損失を導入する手法を提示し、運動の現実性を向上させます。学習された潜在空間は、インターポレーション(補間)、シード条件付け、テキストベースの編集など、さまざまなインタラクティブな運動編集アプリケーションに活用可能であり、仮想キャラクタアニメーションやロボット工学において重要な機能を提供します。広範な定量的評価および知覚的なユーザースタディを通じて、既存のベンチマークにおいて、MoFusionが最先端手法と比較して優れた効果を示すことを実証しました。読者の皆様には、付属動画をご視聴いただき、https://vcai.mpi-inf.mpg.de/projects/MoFusion にアクセスしていただくことを強くお勧めします。

MoFusion:ノイズ除去拡散に基づくモーション合成のためのフレームワーク | 最新論文 | HyperAI超神経