11 天前

GUESS:渐进式丰富合成用于文本驱动的人体运动生成

Xuehao Gao, Yang Yang, Zhenyu Xie, Shaoyi Du, Zhongqian Sun, Yang Wu
GUESS:渐进式丰富合成用于文本驱动的人体运动生成
摘要

本文提出了一种基于扩散模型的新型级联生成框架,用于文本驱动的人体运动合成,该框架采用了一种名为“渐进式丰富合成”(Gradually Enriching Synthesis,简称 GUESS)的策略。该策略通过将语义上相近的详细骨骼关节点进行分组,并将每一组关节点替换为单一的身体部位节点,从而实现对人体姿态的逐层抽象。这一过程在多个粒度层级上递归地将人体姿态简化为越来越粗粒度的骨架结构。随着抽象层级的逐步提升,生成的人体运动逐渐变得更加简洁且稳定,显著提升了跨模态运动合成任务的性能。整个文本驱动的人体运动合成问题被分解为多个抽象层级,并通过一个级联的潜在扩散模型构建的多阶段生成框架进行求解:首先,初始生成器根据给定的文本描述生成最粗粒度的人体运动初始猜测;随后,一系列连续的生成器基于文本描述及前序生成结果,逐步丰富运动细节。值得注意的是,本文进一步将 GUESS 策略与所提出的动态多条件融合机制相结合,以在不同生成阶段动态平衡文本条件与合成粗略运动提示之间的协同作用。在大规模数据集上的大量实验表明,GUESS 在准确性、真实感和多样性等方面均显著优于现有的最先进方法。相关代码已开源,地址为:https://github.com/Xuehao-Gao/GUESS。

GUESS:渐进式丰富合成用于文本驱动的人体运动生成 | 最新论文 | HyperAI超神经