HyperAIHyperAI

Command Palette

Search for a command to run...

MambaTalk:基于选择状态空间模型的高效整体手势合成

Zunnan Xu* Yukang Lin* Haonan Han* Sicheng Yang Ronghui Li Yachao Zhang† Xiu Li†

摘要

手势合成是人机交互领域的一个重要分支,在电影、机器人技术和虚拟现实等多个领域有着广泛的应用。近年来,研究人员利用扩散模型和注意力机制来改进手势合成技术。然而,由于这些技术的计算复杂度较高,生成长且多样的序列时仍面临低延迟的挑战。我们探讨了状态空间模型(SSMs)在解决这一问题上的潜力,采用了一种两阶段建模策略,并引入离散运动先验以提高手势的质量。基于Mamba模块,我们提出了MambaTalk,通过多模态融合增强了手势的多样性和节奏感。大量实验表明,我们的方法在性能上达到了或超过了现有最先进模型的水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供