TM2D：基于音乐-文本融合的双模态驱动3D舞蹈生成

我们提出了一项新颖的任务，旨在生成同时融合文本与音乐双模态信息的三维舞蹈动作。与现有仅基于单一模态（如音乐）生成舞蹈动作的方法不同，我们的目标是利用文本提供的指导性信息，生成更具表现力和语义丰富性的舞蹈动作。然而，由于缺乏同时包含音乐与文本模态的配对动作数据，使得融合两种模态进行舞蹈生成面临挑战。为缓解这一问题，我们提出采用三维人体动作VQ-VAE模型，将两个数据集中的动作序列映射至一个由量化向量构成的潜在空间中，从而有效混合来自分布不同的两个数据集的动作标记，用于模型训练。此外，我们设计了一种跨模态Transformer架构，将文本指令无缝融入动作生成框架，实现在不损害音乐条件舞蹈生成性能的前提下，生成符合文本与音乐双重条件的三维舞蹈动作。为更准确评估生成动作的质量，我们引入两项新型评价指标：动作预测距离（Motion Prediction Distance, MPD）与冻结率（Freezing Score, FS），分别用于衡量生成动作的连贯性与动作冻结比例。大量实验结果表明，所提方法能够在同时接受文本与音乐条件输入的情况下，生成真实且连贯的舞蹈动作，且在性能上与仅依赖单一模态的方法相当。代码已开源，地址为：https://garfield-kh.github.io/TM2D/。