摘要
细粒度动作的联合分割与分类对于人机交互、视频监控和人类技能评估等应用具有重要意义。然而，尽管在大规模动作分类方面取得了显著进展，当前最先进的细粒度动作识别方法的性能仍然较低。我们提出了一种结合低级时空特征和高级片段分类器的动作分割模型。我们的时空卷积神经网络（CNN）由一个空间组件组成，该组件利用卷积滤波器捕捉物体及其关系的信息；以及一个时间组件，该组件使用大一维卷积滤波器捕捉物体关系随时间变化的信息。这些特征与半马尔可夫模型相结合，后者用于建模从一个动作到另一个动作的转换过程。我们为该模型引入了一种高效的约束片段推理算法，其速度比现有方法快几个数量级。我们在烹饪和外科手术动作数据集上展示了我们提出的片段时空卷积神经网络的有效性，在这些数据集上，相对于最近的基准方法，我们的模型表现出显著的性能提升。