从视频中学习语音驱动的3D对话手势

我们提出了一种从语音输入自动且联合生成虚拟角色同步3D对话身体和手势以及3D面部和头部动画的方法。该算法采用了一种卷积神经网络（CNN）架构，利用了面部表情与手势之间的内在关联。由于许多相似的手势可以合理地伴随相同的输入语音，因此合成对话身体手势是一个多模态问题。为了在这种情况下生成合理的身体手势，我们训练了一个基于生成对抗网络（GAN）的模型，该模型在与输入音频特征配对时评估生成的3D身体运动序列的合理性。此外，我们还贡献了一种新的方法，用于从野生环境中录制的人类对话视频中创建超过33小时的大规模标注的身体、手部和面部数据集。为此，我们应用了最先进的单目方法进行3D身体和手部姿态估计以及密集的3D面部捕捉到视频数据集中。通过这种方式，我们可以使用比以往依赖复杂室内动作捕捉解决方案的算法多几个数量级的数据进行训练，从而训练出更具表现力的合成算法。我们的实验和用户研究显示，我们的语音合成全3D角色动画达到了当前最先进水平。