HyperAIHyperAI

Command Palette

Search for a command to run...

MobRecon:基于单目图像的移动设备友好型手部网格重建

Xingyu Chen Yufeng Liu Yajiao Dong Xiong Zhang Chongyang Ma Yanmin Xiong Yuan Zhang Xiaoyan Guo

摘要

在这项工作中,我们提出了一种单视图手部网格重建框架,该框架能够同时实现高重建精度、快速推理速度和时间连贯性。具体而言,在2D编码方面,我们提出了轻量且有效的堆叠结构。对于3D解码,我们提供了一种高效的图算子,即深度可分离螺旋卷积(Depth-Separable Spiral Convolution)。此外,我们还介绍了一种新颖的特征提升模块,用于弥合2D和3D表示之间的差距。该模块以基于地图的位置回归(MapReg)块为起点,结合了热图编码和位置回归方法的优点,提高了2D精度和时间连贯性。进一步地,MapReg之后采用了姿态池化和姿态到顶点的提升方法,将2D姿态编码转换为3D顶点的语义特征。总体而言,我们的手部重建框架称为MobRecon,具有较低的计算成本和小型模型尺寸,在Apple A14 CPU上达到了83帧每秒的高速推理速度。在FreiHAND、RHD和HO3Dv2等流行数据集上的大量实验表明,我们的MobRecon在重建精度和时间连贯性方面表现出色。我们的代码已公开发布在https://github.com/SeanChenxy/HandMesh


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供