用于共言语手势生成的分层跨模态关联学习

生成与语音一致的虚拟角色身体动作和手势是虚拟角色创建领域长期面临的挑战。以往的研究通常采用整体式方法合成姿态运动，即同时生成所有关节的姿态。这种直接的处理流程难以生成细致入微的伴随语音手势。一个关键观察是：语音中的层次化语义与人类手势的层次化结构可以自然地被划分为多个粒度，并在不同层级上建立关联。为充分挖掘语音音频与人体手势之间丰富的关联关系，本文提出一种名为分层音频到手势（Hierarchical Audio-to-Gesture, HA2G）的新框架，用于生成协同语音手势。在HA2G框架中，分层音频学习器（Hierarchical Audio Learner）从多个语义粒度上提取音频表征；随后，分层姿态推理器（Hierarchical Pose Inferer）以分层递进的方式逐步生成完整的人体姿态。为进一步提升生成手势的质量，本文设计了一种基于音频-文本对齐的对比学习策略，以优化音频表征。大量实验与人工评估结果表明，所提方法能够生成高度逼真的协同语音手势，在性能上显著优于现有方法。项目主页：https://alvinliu0.github.io/projects/HA2G