11 天前
MoFusion:一种基于去噪扩散模型的动作生成框架
Rishabh Dabral, Muhammad Hamza Mughal, Vladislav Golyanik, Christian Theobalt

摘要
传统的动作生成方法要么是确定性的,要么难以在动作多样性与动作质量之间取得平衡。针对这些局限性,我们提出了MoFusion——一种基于去噪扩散机制的新框架,用于高质量的条件化人体动作合成。该框架能够根据多种条件上下文(如音乐、文本等)生成长度较长、时间上连贯且语义准确的动作序列。此外,我们通过提出一种分阶段加权策略,将广为人知的运动学损失引入扩散框架中,以增强动作的物理合理性。所学习到的隐空间可支持多种交互式动作编辑应用,例如动作插值、种子条件控制以及基于文本的编辑,从而为虚拟角色动画与机器人控制提供了关键能力。通过全面的定量评估以及感知用户研究,我们在文献中公认的基准上证明了MoFusion相较于现有最先进方法的优越性能。我们诚挚建议读者观看我们的补充视频,并访问项目主页:https://vcai.mpi-inf.mpg.de/projects/MoFusion。