HyperAIHyperAI

Command Palette

Search for a command to run...

注意传播网络用于第一人称热图到3D姿态提升

Taeho Kang Youngki Lee

摘要

我们介绍了EgoTAP,这是一种用于高精度立体第一人称3D姿态估计的热图到3D姿态提升方法。在第一人称摄像机视图中,严重的自遮挡和视野外的肢体使得精确的姿态估计成为一个具有挑战性的问题。为了解决这一难题,先前的方法采用了关节热图——即身体姿态的概率2D表示,但热图到3D姿态的转换过程仍然不够准确。我们提出了一种新颖的热图到3D提升方法,该方法由Grid ViT编码器和传播网络组成。Grid ViT编码器通过自注意力机制将关节热图总结为有效的特征嵌入。随后,传播网络利用骨骼信息来更好地估计被遮挡关节的位置,从而实现3D姿态的估计。我们的方法在定性和定量上显著优于之前的方法,这一点通过MPJPE指标误差减少23.9%得到了验证。我们的源代码已在GitHub上发布。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供