16 天前

随着音乐起舞

Hsin-Ying Lee, Xiaodong Yang, Ming-Yu Liu, Ting-Chun Wang, Yu-Ding Lu, Ming-Hsuan Yang, Jan Kautz
随着音乐起舞
摘要

人类随音乐起舞是一种本能行为。然而,学习建模音乐到舞蹈的生成过程却是一个极具挑战性的问题。这需要投入大量精力来度量音乐与舞蹈之间的关联性,因为必须同时考虑音乐与舞蹈在风格、节奏等多个方面的复杂对应关系。此外,舞蹈本身具有固有的多模态特性,即在任意时刻,身体姿态的后续动作存在多种可能性,且均具有同等合理性。针对这一问题,本文提出一种“分析-合成”协同学习框架,用于从音乐生成舞蹈。在分析阶段,模型将舞蹈分解为一系列基本舞蹈单元,从而学习动作的生成规律;在合成阶段,模型根据输入音乐,将多个基本舞蹈动作无缝衔接,实现舞蹈的组合与生成。实验的定性与定量结果表明,所提出的方法能够生成逼真、多样、风格一致且与音乐节拍高度匹配的舞蹈序列。