비디오 또는 뼈대 데이터의 시계열을 입력으로 받는 동작 인식 시스템은 운동, 외형, 자세와 같은 다양한 단서를 활용하여 동작을 분류한다. 지난 10년간 동작은 Bag of Features와 같은 저수준 특징 표현 방식을 통해 모델링되어 왔다. 그러나 최근 연구에서는 몸부위의 움직임(예: 손이 앞으로 움직이는 것)을 모델링하는 중간 수준의 표현 방식이 매우 효과적임이 입증되었다. 그러나 이러한 중간 수준 특징은 일반적으로 수작업으로 설계되며, 대표적인 특징들의 사전은 특수한 휴리스틱 방법을 통해 학습된다. 비록 감독형 희소 사전 학습이나 신경망과 같은 자동 특징 학습 방법을 사용하여 특징 표현과 동작 분류기를 동시에 학습할 수는 있지만, 그 결과로 도출된 특징들은 흔히 해석이 어렵다. 반면 본 연구의 목표는 동작 인식을 위한 구분력 있고 해석 가능한 뼈대 운동 패턴을 학습할 수 있는 체계적인 특징 학습 프레임워크를 개발하는 것이다. 이를 위해 우리는 특정 몸부위의 구성이 특정한 움직임을 겪고 있는 상태를 의미하는 새로운 몸부위 운동 기반 특징인 Moving Poselet을 제안한다. 또한 Moving Poselet과 동작 분류기를 동시에 학습할 수 있는 간단한 알고리즘을 제안한다. MSR Action3D, MSR DailyActivity3D, 그리고 Berkeley MHAD 데이터셋에서 수행한 실험 결과, 본 연구에서 제안하는 이중층 모델이 수작업 특징을 사용하는 다른 이중층 모델보다 우수한 성능을 보였으며, 인간의 신체 계층 구조를 모델링하기 위해 다중 레이어의 RNN을 사용하는 최신의 다층 계층적 순환 신경망(HRNN) 모델과 비슷한 성능을 달성하였다.