基于语义聚合与自适应二维-一维配准的相机空间手部网格恢复

近年来，3D手部网格重建取得了显著进展。然而，由于固有的2D到3D歧义性，仅从单张RGB图像恢复相机空间中的3D信息仍然极具挑战。为解决这一问题，我们提出将相机空间下的手部网格重建分解为两个子任务：根相对网格重建（root-relative mesh recovery）与根位置恢复（root recovery）。首先，从单张输入图像中提取关节关键点和轮廓（silhouette），为3D重建任务提供二维视觉线索。在根相对网格重建任务中，我们利用关节之间的语义关联关系，基于提取的二维线索生成三维网格；生成的三维坐标以一个参考点（即手部腕部）为原点进行表达。随后，在根位置恢复任务中，通过将生成的三维网格重新投影至二维线索并进行对齐，实现根位置在相机空间中的精确注册，从而完成完整的相机空间三维网格重建。本方法的创新之处在于：（1）显式利用了关节之间的已知语义关系；（2）通过引入轮廓与网格的一维投影信息，实现了鲁棒的跨模态注册。在FreiHAND、RHD和Human3.6M等主流数据集上的大量实验表明，我们的方法在根相对网格重建与根位置恢复两个任务上均达到了当前最优性能。项目代码已公开，可访问 https://github.com/SeanChenxy/HandMesh。