摘要
随着易于获取的深度传感器的普及，动态人体骨架作为动作识别的一种稳健模态，受到了广泛关注。以往的方法基于递归神经网络（RNN）或卷积神经网络（CNN）建模骨架，但这些方法在处理不规则骨架关节时表达能力有限。尽管图卷积网络（GCN）已被提出用于解决不规则图结构数据的问题，但基本的图构建仍然具有挑战性。本文中，我们将骨架自然地表示为图，并提出了一种基于图回归的图卷积网络（GR-GCN），用于基于骨架的动作识别，旨在捕捉数据中的时空变化。由于图表示对图卷积至关重要，我们首先提出了图回归方法，从多个观测中统计学习潜在的图结构。具体而言，我们提供了对骨架的时空建模，并在连续帧上提出了一个关于图结构的优化问题，该问题强制潜在图的稀疏性以实现高效表示。优化后的图不仅在同一帧内将每个关节与其邻近关节强连接或弱连接，还与前一帧和后一帧中的相关关节相连。然后，我们将优化后的图与骨架序列的坐标一起输入到GCN中进行特征学习，在此过程中采用了高阶和快速切比雪夫谱图卷积近似（Chebyshev approximation）。此外，我们还分析了切比雪夫近似对变化特征的刻画。实验结果验证了所提出的图回归的有效性，并表明所提出的GR-GCN在广泛使用的NTU RGB+D、UT-Kinect和SYSU 3D数据集上达到了最先进的性能。