CharacterShot：可控且一致的4D角色动画

本文提出了一种可控且一致的4D角色动画框架——CharacterShot，使任意设计师仅需一张参考角色图像和一组2D姿态序列，即可生成动态的3D角色动画（即4D角色动画）。我们首先基于前沿的基于DiT（Diffusion Transformer）的图像到视频模型，预训练一个强大的2D角色动画模型，该模型能够以任意2D姿态序列作为可控信号。随后，通过引入双注意力模块并结合相机先验，将动画模型从2D提升至3D，从而生成在时空一致性与多视角一致性方面表现优异的多视角视频。最后，我们在这些多视角视频上采用一种新颖的邻域约束4D高斯点云优化方法，获得连续且稳定的4D角色表示。此外，为提升以角色为中心的性能，我们构建了一个大规模数据集Character4D，包含13,115个具有多样化外观与动作的独特角色，其数据从多个视角渲染生成。在我们新构建的基准测试集CharacterBench上进行的大量实验表明，所提方法显著优于当前最先进的技术。代码、模型与数据集将公开发布于 https://github.com/Jeoyal/CharacterShot。