SHPR-Net：基于点云的深度语义手势姿态回归

三维手部姿态估计是人机交互中的关键问题。现有的大多数基于深度图的手部姿态估计方法通常通过二维或三维卷积神经网络（CNN）处理二维深度图或三维体素数据。本文提出了一种基于点集的深度语义手部姿态回归网络（Semantic Hand Pose Regression Network, SHPR-Net），用于从点云数据中进行手部姿态估计。该网络由两个子网络构成：语义分割子网络与手部姿态回归子网络。语义分割子网络为点集中的每个点分配语义标签，以提供高层语义信息；姿态回归子网络则通过输入融合与后期融合策略，将语义先验信息与输入点云特征相结合，最终回归出手部姿态。此外，网络从点集中学习两个变换矩阵，分别用于对输入点云进行几何变换，以及对输出姿态进行逆变换，从而显著提升模型对几何变换的鲁棒性。在NYU、ICVL和MSRA手部姿态数据集上的实验结果表明，SHPR-Net在性能上达到与当前最先进方法相当的水平。此外，我们还证明了该方法可自然拓展至多视角深度数据的手部姿态估计，并在NYU数据集上取得了进一步的性能提升。