2 个月前

MotionPCM:基于相位一致性模型的实时动作合成

Jiang, Lei ; Wei, Ye ; Ni, Hao
MotionPCM:基于相位一致性模型的实时动作合成
摘要

扩散模型因其强大的生成能力已成为人类动作合成的热门选择。然而,其高计算复杂度和大量的采样步骤对实时应用构成了挑战。幸运的是,一致性模型(Consistency Model, CM)提供了一种解决方案,可以将采样步骤从数百次大幅减少到几次,通常少于四次,显著加速了扩散模型的合成过程。然而,将CM应用于基于文本条件的人类动作在潜在空间中的合成时,生成结果不尽如人意。在本文中,我们介绍了一种分阶段的一致性模型方法——MotionPCM,旨在提高潜在空间中实时动作合成的质量和效率。我们在HumanML3D数据集上的实验结果显示,该模型在单次采样步骤中实现了超过30帧每秒的实时推理速度,并且在FID指标上比之前的最先进方法提高了38.9%。代码将公开以供复现。

MotionPCM:基于相位一致性模型的实时动作合成 | 最新论文 | HyperAI超神经