一句话总结

NVIDIA和ETH Zürich的研究人员提出了ARDY，这是一个面向交互式人体运动生成的流式框架，将显式根轨迹特征与潜身体嵌入的混合表示与两阶段自回归transformer去噪器相结合，从而通过文本提示和灵活的长程运动学约束实现实时控制，在HumanML3D和Bones Rigplay基准上达到了高保真度，并在交互演示中得到了展示。

核心贡献

• ARDY是一个用于实时三维人体运动的流式生成框架，天然支持在线文本提示和灵活的长程运动学约束。
• 它使用一种混合运动表示，将显式根轨迹特征与潜身体嵌入相结合，平衡了精确轨迹控制和高效生成学习。
• 一个具有可变长度历史上下文的两阶段自回归transformer去噪器处理长程运动学目标，并在HumanML3D和Bones Rigplay数据集上的评估证实了高运动质量和约束遵从性，通过一个交互演示展示了动态文本控制、关键帧姿态、路径跟随以及实时鼠标和键盘交互。

引言

生成逼真的三维人体运动对角色动画、交互式仿真和人形机器人控制至关重要。离线生成模型可以产生遵循丰富文本提示和精确运动学约束的运动，但其并行去噪过程对于实时应用来说太慢。在线自回归模型速度很快，但通常牺牲了可控性：支持文本条件的方法缺乏运动学控制，而处理运动学约束的方法无法接受文本输入，少数尝试同时支持两者的方法受限于短上下文窗口，限制了它们理解全局文本语义或执行长程运动学目标的能力。作者提出了ARDY，一种自回归扩散模型，它利用一种混合姿态表示，将运动分解为显式根轨迹和潜身体嵌入。它采用两阶段交错去噪器，先预测干净的根，再预测干净的身体，从而实现在线文本提示和灵活运动学约束（如稀疏关键帧、路径点和末端执行器目标）条件下的流式生成，且无需额外的测试时优化或控制模块。

方法

ARDY方法由一个运动tokenizer和一个自回归两阶段运动扩散模型组成。该方法依赖于一种混合运动表示，将根运动与身体运动解耦。根轨迹在全局坐标中显式表示，以方便直接控制，而身体运动则编码到一个紧凑的潜空间中。

身体运动tokenizer 为了压缩高维的显式身体特征，作者训练了一个运动tokenization网络。

如上图所示，tokenizer采用非对称条件自编码器架构。编码器处理分块化的显式身体运动帧并将其压缩为潜token。这些潜身体token与分块化的全局根运动拼接，形成混合运动表示。然后，解码器从这些混合token中重建身体运动。值得注意的是，解码器将全局根运动转换为局部表示，包括朝向角速度、线速度分量和根高度，并将其作为条件输入，以显著减少脚滑步。

可控交互式运动生成 生成任务被形式化为一个条件自回归过程。模型从当前帧开始合成一小段未来运动token，以过去历史、文本提示和可选的空域目标为条件。该公式允许模型以超出当前预测窗口的目标为条件，从而实现长程规划，无需额外的控制策略。

自回归两阶段扩散模型 为了解决生成任务，作者设计了一个基于transformer的扩散去噪模型。

如上图所示的高层架构，处理带噪声的混合运动token，以及历史token、文本条件和空域约束。空域目标以掩码的显式运动特征表示。为确保精确控制，在进入处理前，带噪声token的根分量会被根约束覆盖。

去噪器采用交错的两阶段设计，依次预测根运动和身体运动。首先，根Transformer从带噪声的输入中预测干净的全局根运动。然后，该预测的根运动被分离并送入身体Transformer，后者预测干净的潜身体token。这种分解使得身体生成能够以准确的根轨迹为条件，从而提高运动保真度。最终的混合预测经过解码，恢复出完整的显式运动。

训练过程 tokenizer使用重建损失和一个特定的脚滑步损失进行训练，该损失惩罚预测与地面接触的关节速度： $\mathcal{L}_{\text{skate}} = \frac{\sum_{j \in \mathcal{S}_f} \hat{\mathbf{c}}_j \|\hat{\mathbf{J}}_j\|_2}{\sum_{j \in \mathcal{S}_f} \hat{\mathbf{c}}_j}$Lskate​=∑j∈Sf​​c^j​∑j∈Sf​​c^j​∥J^j​∥2​​ 两阶段去噪器使用改进的DDPM框架进行训练。总损失结合了混合token损失、解码后的身体损失、用于强制约束的目标损失，以及确保证预测关节位置与通过前向运动学从预测旋转得到的位置之间一致的consistency损失： $\mathcal{L} = \mathcal{L}_{\text{hybrid}} + \mathcal{L}_{\text{dec}} + \mathcal{L}_{\text{goal}} + \mathcal{L}_{\text{consist}}$L=Lhybrid​+Ldec​+Lgoal​+Lconsist​

测试时操作 在推理过程中，模型使用截断的滑动窗口进行自回归操作，以管理历史和未来上下文。

为了实现实时交互性并处理模型推理延迟，作者引入了一种延迟感知的重规划机制。如上图所示，当新用户输入或缓冲区耗尽触发重规划时，一个包含先前生成帧的缓冲区会被回放给用户。同时，这些帧作为异步生成线程的历史上下文。这一策略有效地掩盖了扩散模型的推理延迟，确保动态重规划期间的平滑过渡。

实验

交互演示展示了ARDY在流式文本和空域约束下的实时运动生成，能够稳健地适应各种运动学目标。对大规模动作捕捉数据的消融研究验证了混合运动表示、两阶段去噪和全局到局部的根转换对运动质量与控制精度至关重要，超参数分析揭示了在不同配置下的稳定性能。基准评估表明，ARDY超越了先前的离线方法和自回归方法，在长程规划方面表现优异，并在感知研究中获得了强烈的人类偏好。

现有的实时三维运动生成方法要么牺牲空域控制，要么牺牲在线文本提示，要么牺牲长上下文，而离线方法虽然提供丰富的空域控制和长达10秒的未来视野，却无法实时响应动态提示。ARDY被定位为在交互式实时框架内匹配离线模型的空域控制能力。像AMDM和CAMDM这样的实时方法缺乏在线文本提示，且上下文窗口被限制在2秒以内，而MaskControl和Kimodo等离线方法可以生成长达10秒的未来运动，并具有完全的空域控制，但缺乏实时能力。MotionStreamer实现了实时生成和在线文本提示，并具有10秒的长上下文，但不提供任何形式的根轨迹或关节位置空域控制。

对三种架构设计的消融表明，混合运动表示、全局到局部的根转换和两阶段去噪均能提升运动质量和空域控制。与显式基线相比，混合表示大幅提高了文本保真度和约束精度，而局部根转换减少了滑步，两阶段去噪器则显著降低了关节位置误差和路径点误差。从显式表示切换到混合表示，文本到运动的R-precision从53.90提高到65.47，FID从0.065降至0.027，同时路径点误差从0.203 m降至0.024 m，关键帧身体误差从0.136 m降至0.023 m。去除全局到局部的根转换，纯文本生成时的脚滑步从0.264 m/s增加到0.303 m/s，并恶化所有约束条件指标，证实局部表示对物理合理性至关重要。单阶段去噪器实现了相似的文本到运动质量，但在精确控制方面表现不佳，关节位置误差为0.101 m，路径点误差为0.164 m，而两阶段设计分别为0.025 m和0.024 m。

一项消融分析考察了生成视野、扩散步数和tokenizer配置。较长的视野持续提升运动保真度和语义对齐，而非常短的视野会导致不稳定和约束满足度差。中等视野在空域控制精度和响应性之间取得最佳平衡，扩散步数和tokenizer patch大小在质量、细节保留和稳定性之间呈现权衡。将生成视野从4帧增加到40帧，R-precision稳步上升，FID下降，表明运动质量和文本对齐更好。4帧视野导致误导性的低脚滑步，因为模型经常忽略文本提示，而所有约束误差都显著更高。8帧和40帧视野在约束条件生成中实现了最低的关节旋转和位置误差，8帧模型能够在动作之间更快过渡。仅使用1或2个扩散步数会严重损害生成质量和约束遵从性，但少步模型仍能达到有竞争力的性能。单帧的tokenizer patch会导致早期训练不稳定和更差的最终结果，而8帧的较大patch略微改善了FID和R-precision，但代价是更严重的滑步和约束精度，因为丢失了细粒度的姿态细节。

ARDY在无需测试时优化的情况下，关节位置精度远优于基线MaskControl模型（原始误差4.15 cm vs 46.18 cm），并且脚滑步更低，推理速度更快。虽然文本对齐略有降低，但整体运动质量和空域控制远胜一筹，而经过优化的MaskControl流水线仅以极高的延迟为代价才达到高精度。在优化前，ARDY将关节位置误差比MaskControl减少了十倍以上（4.15 cm vs 46.18 cm），同时也改善了脚滑步和推理速度。ARDY的原始生成保持有竞争力的文本遵循能力，同时在空域精度和运动质量上显著优于专门的MaskControl模型。

ARDY在带稀疏关节目标的文本条件运动生成方面优于自回归模型DiP。它提供了更好的运动质量、文本对齐和约束精度，目标每2秒给出一次或放置在遥远的未来时，关节误差均显著更低。DiP在长程规划上表现挣扎，关节误差急剧上升，而ARDY保持高精度。在视野内设置中，ARDY将关节误差降至2.48 cm，而DiP为9.20 cm，同时FID从0.967改善到0.092。对于视野外目标，DiP的关节误差升至17.64 cm，而ARDY避免了这种退化，保持低误差，展示了有效的长程规划。

评估将ARDY与现有的实时和离线运动生成方法进行了比较，验证了其将交互式控制与强大空域精度相结合的能力。架构消融表明，混合表示、局部根转换和两阶段去噪各自显著提升了运动质量、文本保真度和约束精度。进一步的研究揭示，更长的生成视野持续提升语义对齐和运动保真度，而且ARDY在关节位置精度和长程规划上均优于一个专门的离线模型和一个自回归基线，在保持实时响应性的同时维持了高水平的空域控制。