CodeTalker：基于语音驱动的3D面部动画生成方法及其离散运动先验

语音驱动的3D面部动画已经得到了广泛研究，但由于其高度不确定的性质以及音频-视觉数据的稀缺性，实现真实感和生动性仍存在差距。现有的研究通常将跨模态映射问题转化为回归任务，这导致了均值回归问题，使得生成的面部动作过于平滑。在本文中，我们提出将语音驱动的面部动画视为在学习到的代码簿（codebook）有限代理空间中的编码查询任务，这通过减少跨模态映射的不确定性有效提升了生成动作的生动性。代码簿通过自重建真实面部动作而学习得到，因此嵌入了真实的面部运动先验知识。在离散的动作空间中，采用时间自回归模型依次从输入语音信号合成面部动作，从而保证了口型同步及合理的面部表情。我们展示了我们的方法在定性和定量方面均优于当前最先进的方法。此外，用户研究进一步证实了我们在感知质量上的优越性。