MobRecon：基于单目图像的移动设备友好型手部网格重建

在这项工作中，我们提出了一种单视图手部网格重建框架，该框架能够同时实现高重建精度、快速推理速度和时间连贯性。具体而言，在2D编码方面，我们提出了轻量且有效的堆叠结构。对于3D解码，我们提供了一种高效的图算子，即深度可分离螺旋卷积（Depth-Separable Spiral Convolution）。此外，我们还介绍了一种新颖的特征提升模块，用于弥合2D和3D表示之间的差距。该模块以基于地图的位置回归（MapReg）块为起点，结合了热图编码和位置回归方法的优点，提高了2D精度和时间连贯性。进一步地，MapReg之后采用了姿态池化和姿态到顶点的提升方法，将2D姿态编码转换为3D顶点的语义特征。总体而言，我们的手部重建框架称为MobRecon，具有较低的计算成本和小型模型尺寸，在Apple A14 CPU上达到了83帧每秒的高速推理速度。在FreiHAND、RHD和HO3Dv2等流行数据集上的大量实验表明，我们的MobRecon在重建精度和时间连贯性方面表现出色。我们的代码已公开发布在https://github.com/SeanChenxy/HandMesh。