포즈, 운동, 외관을 활용한 행동 분류 및 검출을 위한 체인된 다중 스트림 네트워크

일반적인 인간 행동 인식은 다양한 시각적 힌트의 이해를 필요로 합니다. 본 논문에서는 행동 인식에 가장 중요한 시각적 힌트인 자세(Pose), 움직임(Motion) 및 원시 이미지를 계산하고 통합하는 네트워크 구조를 제안합니다. 이 통합을 위해 차례로 힌트를 추가하는 마르코프 연쇄 모델(Markov chain model)을 도입하였습니다. 결과적으로 이 접근법은 효율적이며 행동 분류뿐만 아니라 공간적 및 시간적 행동 위치 결정에도 적용될 수 있습니다. 두 가지 기여는 각각의 베이스라인 성능을 명확히 개선하며, 전체적인 접근법은 HMDB51, J-HMDB 및 NTU RGB+D 데이터셋에서 최고 수준의 행동 분류 성능을 달성하였습니다. 또한 UCF101 및 J-HMDB에서 최고 수준의 시공간적 행동 위치 결정 결과를 제공합니다.