摘要
基于骨骼的关键姿态识别方法在图卷积网络（Graph Convolutional Network, GCN）的推动下取得了显著进展，这类方法通常采用邻接矩阵来建模骨骼结构的空间拓扑关系。然而，以往的方法在不同时间帧的骨骼数据中使用相同的邻接矩阵，限制了GCN对时序信息的建模灵活性。为解决这一问题，本文提出一种时序解耦图卷积网络（Temporal Decoupling Graph Convolutional Network, TD-GCN），该方法为不同时间帧的骨骼数据引入不同的邻接矩阵。在所提出的TD-GCN中，每一层卷积的主要步骤如下：首先，从骨骼关节点数据中提取高层的时空特征，以捕捉深层的时空语义信息；随后，针对不同通道和不同时间帧，分别计算通道相关与时序相关的邻接矩阵，以有效建模骨骼关节点之间的时空依赖关系；最后，基于上述通道依赖与时序依赖的邻接矩阵，对骨骼关节点的时空特征进行融合，从而整合邻近关节点的拓扑信息。据我们所知，TD-GCN是首个将时序依赖型邻接矩阵应用于骨骼关节点时序敏感拓扑学习的方法。该方法显著提升了GCN对时空结构的建模能力，在多个手势识别数据集上取得了当前最优性能，包括SHREC'17 Track以及DHG-14/28数据集。相关代码已开源，地址为：https://github.com/liujf69/TD-GCN-Gesture。