摘要
条件性动作生成在计算机视觉领域已得到广泛研究，但仍面临两大关键挑战。首先，尽管基于掩码的自回归方法近期已超越基于扩散模型的方法，但现有的掩码模型缺乏根据给定条件动态优先关注关键帧与身体部位的机制。其次，现有针对不同条件模态的方法通常难以有效融合多模态信息，导致生成动作的可控性与连贯性受限。为应对上述挑战，我们提出 Motion Anything——一种多模态动作生成框架，引入基于注意力的掩码建模方法（Attention-based Mask Modeling），实现对关键帧与动作的细粒度时空控制。该模型能够自适应地编码多种条件输入，包括文本与音乐，显著提升生成动作的可控性。此外，我们构建了全新的动作数据集 Text-Music-Dance（TMD），包含2,153组文本、音乐与舞蹈动作的配对数据，规模为AIST++的两倍，有效填补了社区在多模态动作数据方面的关键空白。大量实验表明，Motion Anything 在多个基准测试中均超越现有最先进方法，在HumanML3D数据集上FID指标提升15%，并在AIST++与TMD数据集上均展现出一致的性能优势。更多详情请访问项目主页：https://steve-zeyu-zhang.github.io/MotionAnything