16 天前
基于对比扩散的可控群体编排
Nhat Le, Tuong Do, Khoa Do, Hien Nguyen, Erman Tjiputra, Quang D. Tran, Anh Nguyen

摘要
基于音乐的群舞编排是一项极具挑战性但具有广泛工业应用潜力的任务。能够生成与音乐高度同步且视觉上富有吸引力的群舞动作,为娱乐、广告及虚拟表演等多个领域开辟了新的可能性。然而,当前大多数相关研究在生成高保真、长期的群舞动作方面仍存在局限,或难以实现可控的创作体验。针对这一需求,本文致力于实现高质量、可定制的群舞动作生成,通过有效调控群舞编排的一致性与多样性,提升生成效果。具体而言,我们采用基于扩散模型的生成方法,实现对舞者数量的灵活控制以及长时间群舞动作的合成,同时确保动作与输入音乐保持高度协调。在此基础上,我们提出一种群组对比扩散(Group Contrastive Diffusion, GCD)策略,强化舞者与其群体之间的关联性,并通过分类器引导采样技术,实现对合成群舞动画一致性和多样性的灵活调控。通过大量实验与评估,我们验证了该方法在生成视觉上引人入胜且高度一致的群舞动作方面的有效性。实验结果表明,所提方法能够精准实现预期的一致性与多样性水平,同时保持整体群舞编排的高质量。相关源代码可访问:https://aioz-ai.github.io/GCD