16 天前

EDGE:基于音乐的可编辑舞蹈生成

Jonathan Tseng, Rodrigo Castellon, C. Karen Liu
EDGE:基于音乐的可编辑舞蹈生成
摘要

舞蹈作为一种重要的艺术形式,其创作过程往往复杂且耗时。本文提出了一种先进的可编辑舞蹈生成方法——可编辑舞蹈生成(Editable Dance GEneration, EDGE),该方法能够在忠实于输入音乐的前提下,生成逼真且符合物理规律的舞蹈动作。EDGE结合基于Transformer的扩散模型与Jukebox——一种强大的音乐特征提取器,具备强大的编辑能力,特别适用于舞蹈生成任务,包括关节级条件控制和动作补间(in-betweening)等。我们提出了一种新的物理合理性评估指标,并通过以下两个方面对所生成舞蹈的质量进行了全面评估:(1)在物理合理性、节拍对齐和多样性等多个定量指标上的测试;(2)大规模用户研究,结果表明,本方法在生成质量上显著优于以往的最先进方法。模型生成的定性样例可于我们的项目网站查看。

EDGE:基于音乐的可编辑舞蹈生成 | 最新论文 | HyperAI超神经