2 个月前

MT-VAE:学习运动变换以生成多模态人体动力学

Yan, Xinchen ; Rastogi, Akash ; Villegas, Ruben ; Sunkavalli, Kalyan ; Shechtman, Eli ; Hadap, Sunil ; Yumer, Ersin ; Lee, Honglak
MT-VAE:学习运动变换以生成多模态人体动力学
摘要

长期人体运动可以表示为一系列运动模式——这些模式捕捉了短期的时间动态——以及它们之间的转换。我们利用这一结构,提出了一种新型的运动变换变分自编码器(Motion Transformation Variational Auto-Encoders, MT-VAE),用于学习生成运动序列。我们的模型同时学习了运动模式的特征嵌入(可以从该嵌入中重建运动序列)和特征变换,后者表示从一个运动模式到下一个运动模式的转换。该模型能够从相同的输入中生成多个多样且合理的未来运动序列。我们将这种方法应用于面部和全身运动,并展示了基于类比的运动迁移和视频合成等应用。

MT-VAE:学习运动变换以生成多模态人体动力学 | 最新论文 | HyperAI超神经