基于骨架的手势识别：使用路径签名特征和时间变换器模块的全连接层方法

基于骨架的手势识别由于其广泛的应用前景而越来越受到关注。关键问题在于如何提取具有区分性的特征以及如何设计分类模型。在本文中，我们首先利用了一种稳健的特征描述符——路径签名（Path Signature, PS），并提出了三种PS特征来显式表示空间和时间运动特性，即空间路径签名（Spatial Path Signature, S_PS）、时间路径签名（Temporal Path Signature, T_PS）和时空路径签名（Temporal Spatial Path Signature, T_S_PS）。考虑到手势中精细手部动作的重要性，我们提出了一种“手部注意力”（Attention On Hand, AOH）原则，用于定义S_PS的关节对，并选择单个关节来提取T_PS特征。此外，我们采用了二元方法来提取编码运动中全局和局部时间动态的T_PS和T_S_PS特征。其次，在没有递归策略的情况下，分类模型仍然面临不同序列之间时间变化的挑战。为此，我们提出了一种新的时间变换器模块（Temporal Transformer Module, TTM），该模块通过为每个输入学习时间偏移参数来匹配序列的关键帧。这是一种基于学习的模块，可以集成到标准神经网络架构中。最后，我们设计了一个多流全连接层网络，分别处理空间和时间特征，并将它们融合以获得最终结果。我们在三个基准手势数据集上测试了我们的方法，即ChaLearn 2016、ChaLearn 2013和MSRC-12。实验结果表明，我们在基于骨架的手势识别方面取得了最先进的性能，并且计算效率高。