HyperAIHyperAI

Command Palette

Search for a command to run...

FrankMocap:通过回归与融合实现快速单目三维手部与身体动作捕捉

Yu Rong Takaaki Shiratori Hanbyul Joo

摘要

尽管人类运动的核心语义通常通过身体动作与手势的结合来表达,现有的单目动作捕捉方法大多仅关注身体运动而忽略手部动作,或仅聚焦手部运动而忽视身体运动。本文提出了一种名为FrankMocap的动作捕捉系统,能够从真实环境中的单目视频输入中,以更快的速度(9.5帧/秒)和更高的精度,同时估计三维手部与身体运动。该方法具备近实时性能(9.5 fps),并以统一的参数化模型结构输出三维身体与手部运动结果。FrankMocap旨在从具有挑战性的真实场景单目视频中,同步捕捉三维身体与手部运动。为构建FrankMocap,我们基于全身参数化模型SMPL-X,构建了当前最先进的单目三维“手部”运动捕捉方法。该系统的三维手部运动输出可高效融合至单目身体运动捕捉结果中,从而在统一的参数化模型结构下生成完整的全身运动数据。我们在公开基准测试中验证了所提手部运动捕捉系统的领先性能,并在多种复杂真实场景中展示了其全身运动捕捉结果的高质量表现,包括实际应用的实时演示场景。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供