摘要
生成可控且可编辑的三维人物动作序列是三维虚拟人生成领域的一项关键挑战。长期以来，人工生成和动画化人体动作耗费大量人力，直到近年来基于学习的方法被提出并广泛应用，才有所改善。然而，现有方法大多仍局限于特定任务或特定模态 \cite{ahuja2019language2pose}\cite{ghosh2021synthesis}\cite{ferreira2021learning}\cite{li2021ai}。本文提出“UDE”——首个统一的驱动引擎，能够从自然语言或音频序列中生成人体动作序列（如图~\ref{fig:teaser} 所示）。UDE 主要包含以下四个核心组件：1）基于 VQVAE 的动作量化模块，将连续的动作序列表示为离散的潜在编码 \cite{van2017neural}；2）一种模态无关的 Transformer 编码器 \cite{vaswani2017attention}，用于将具有模态特性的驱动信号映射至统一的共享空间；3）一个统一的令牌 Transformer（类 GPT 架构 \cite{radford2019language}）网络，以自回归方式预测量化后的潜在编码索引；4）一个基于扩散模型的动作解码器，接收动作令牌作为输入，并将其解码为具有高度多样性的动作序列。我们在 HumanML3D \cite{Guo_2022_CVPR} 和 AIST++ \cite{li2021learn} 两个基准数据集上对所提方法进行了评估，实验结果表明，该方法在生成性能上达到了当前最优水平。项目主页：\url{https://github.com/zixiangzhou916/UDE/}