摘要
我们提出了一种用于无监督骨架动作识别的新系统。该系统接收在各种运动过程中获得的身体关键点序列作为输入，并将其与特定的动作关联起来。我们的系统基于编码器-解码器循环神经网络（RNN），其中编码器通过训练模型执行预测任务，学习在其隐藏状态中形成可分离的特征表示。我们展示了在这种无监督训练下，解码器和编码器能够自我组织其隐藏状态，形成一个特征空间，在该空间中相似的运动被聚类到同一个簇中，而不同的运动则被聚类到相距较远的簇中。目前最先进的动作识别方法都是强监督方法，即依赖于提供标签进行训练。虽然已经提出了无监督方法，但这些方法需要在每个时间步骤提供摄像头和深度输入（RGB+D）。相比之下，我们的系统完全无监督，不需要在任何阶段提供动作标签，并且仅需身体关键点输入即可运行。此外，该方法可以应用于不同维度的身体关键点（2D或3D），并包含描述运动的额外线索。我们在三个广泛的动作识别基准数据集上评估了我们的系统，这些数据集包含不同数量的动作和示例。实验结果表明，我们的方法优于先前的无监督骨架动作识别方法和无监督RGB+D基线方法在跨视角测试中的表现，并且在无监督的情况下具有与有监督骨架动作识别方法相当的性能。