AnimaX：使用联合视频-姿态扩散模型在3D中赋予无生命物体以动画效果

我们介绍了AnimaX，一种前馈式的3D动画框架，该框架将视频扩散模型的运动先验与基于骨骼的可控结构相结合。传统的运动合成方法要么局限于固定的骨骼拓扑结构，要么需要在高维变形空间中进行昂贵的优化。相比之下，AnimaX有效地将基于视频的运动知识转移到3D领域，支持具有任意骨骼的各种关节网格。我们的方法将3D运动表示为多视角、多帧的2D姿态图，并通过模板渲染和文本运动提示实现联合视频-姿态扩散。我们引入了共享位置编码和模态感知嵌入，以确保视频和姿态序列之间的时空对齐，从而有效地将视频先验转移到运动生成任务中。生成的多视角姿态序列通过三角测量转化为3D关节位置，并通过逆向动力学转换为网格动画。AnimaX在一个新整理的数据集上进行了训练，该数据集包含16万个装备好的序列，在VBench上的泛化能力、运动保真度和效率方面达到了最先进的水平，提供了一种适用于类别无关3D动画的可扩展解决方案。项目页面：https://anima-x.github.io/{https://anima-x.github.io/}。注：为了保持链接格式的一致性和可点击性，最后一个大括号内的链接应直接显示为 https://anima-x.github.io/ 而不是 {https://anima-x.github.io/}。