15 days ago
AnimaX:使用联合视频-姿态扩散模型在3D中赋予无生命物体以动画效果
Zehuan Huang, Haoran Feng, Yangtian Sun, Yuanchen Guo, Yanpei Cao, Lu Sheng

摘要
我们介绍了AnimaX,一种前馈式的3D动画框架,该框架将视频扩散模型的运动先验与基于骨骼的可控结构相结合。传统的运动合成方法要么局限于固定的骨骼拓扑结构,要么需要在高维变形空间中进行昂贵的优化。相比之下,AnimaX有效地将基于视频的运动知识转移到3D领域,支持具有任意骨骼的各种关节网格。我们的方法将3D运动表示为多视角、多帧的2D姿态图,并通过模板渲染和文本运动提示实现联合视频-姿态扩散。我们引入了共享位置编码和模态感知嵌入,以确保视频和姿态序列之间的时空对齐,从而有效地将视频先验转移到运动生成任务中。生成的多视角姿态序列通过三角测量转化为3D关节位置,并通过逆向动力学转换为网格动画。AnimaX在一个新整理的数据集上进行了训练,该数据集包含16万个装备好的序列,在VBench上的泛化能力、运动保真度和效率方面达到了最先进的水平,提供了一种适用于类别无关3D动画的可扩展解决方案。项目页面:https://anima-x.github.io/{https://anima-x.github.io/}。注:为了保持链接格式的一致性和可点击性,最后一个大括号内的链接应直接显示为 https://anima-x.github.io/ 而不是 {https://anima-x.github.io/}。