本文提出了一种用于人体动作识别的新模型。在该模型中，动作被建模为一系列在时间上高度稀疏的判别性关键帧集合，这些关键帧代表了动作序列中关键状态的局部关键姿态。我们采用最大间隔判别框架来学习这些关键帧，并将关键帧视为隐变量。这一方法使得我们能够联合学习最具判别性的关键帧集合，同时学习关键帧之间的局部时间上下文关系。关键帧通过一种类似姿态基元（poselet）的空间可定位表示进行编码，其特征包含基于弱标注数据学习得到的HOG（方向梯度直方图）与BoW（词袋）成分。我们借助结构化支持向量机（structured SVM）框架，实现各组件间的对齐，并挖掘困难负样本，以提升定位性能。最终所得到的模型具备时空定位能力，且对帧丢失或部分观测具有鲁棒性。在基准数据集UT-Interaction上的实验表明，该模型的分类性能达到与当前最先进方法相当的水平；此外，我们在在线流式处理场景中进一步验证了该模型优于以往方法的性能表现。