16 天前

MCM:多条件运动生成框架

Zeyu Ling, Bo Han, Yongkang Wongkan, Han Lin, Mohan Kankanhalli, Weidong Geng
MCM:多条件运动生成框架
摘要

条件性人体运动生成(Conditional Human Motion Synthesis, HMS)旨在生成符合特定条件的人体运动序列。目前,文本与音频是作为HMS控制条件的两种主要模态。尽管现有研究多集中于单一条件下的运动生成,多条件人体运动生成仍处于探索不足的状态。为此,本文提出一种基于双分支结构的多条件HMS框架,命名为MCM(Multi-Condition Motion framework),该结构由主干分支与控制分支组成。该框架有效拓展了扩散模型的应用范围,使其不仅限于基于文本条件的生成,还可支持音频条件下的运动合成。这一扩展涵盖音乐到舞蹈生成(music-to-dance)以及伴随言语的运动生成(co-speech HMS)等任务,同时保持了原始模型在运动质量与语义关联能力方面的固有优势。此外,本文提出将基于Transformer的扩散模型——MWNet(Motion-aware WaveNet)作为主干分支。该模型通过引入多维自注意力(multi-wise self-attention)模块,能够精准捕捉运动序列中的空间结构特征及关节间的复杂关联关系,显著提升了对运动动态的建模能力。大量实验结果表明,所提出方法在单条件与多条件人体运动生成任务中均取得了具有竞争力的性能表现。

MCM:多条件运动生成框架 | 最新论文 | HyperAI超神经