초록
대부분의 비디오 기반 동작 인식 방법은 전체 비디오에서 특징을 추출하여 동작을 인식하는 방식을 채택한다. 그러나 이러한 방법은 복잡한 배경과 비동작성 움직임으로 인해 성능이 제한되며, 이는 인간의 신체 움직임을 명시적으로 모델링하지 못하기 때문이다. 최근 인간 자세 추정 기술의 발전에 따라, 본 연구는 인간의 동작을 자세 추정 맵의 진화로 인식하는 새로운 방법을 제안한다. 비디오에서 추정된 정확하지 않은 자세에 의존하는 대신, 자세 추정 과정의 부산물인 자세 추정 맵이 인간 신체에 대한 더 풍부한 정보를 보존하고 있음을 관찰하였다. 특히, 자세 추정 맵의 진화는 히트맵(확률 맵)의 진화와 추정된 2차원 인간 자세의 진화로 분해할 수 있으며, 각각 신체 형태의 변화와 자세의 변화를 나타낸다. 히트맵의 희소성(sparse property)을 고려하여, 공간적 순위 풀링(spatial rank pooling)을 개발하여 히트맵의 진화를 신체 형태의 진화 이미지로 요약하였다. 신체 형태 진화 이미지는 신체 부위를 구분하지 못하므로, 신체 지도 샘플링(body-guided sampling)을 설계하여 자세의 진화를 신체 자세의 진화 이미지로 요약하였다. 두 유형의 이미지 간의 보완적인 특성을 심층 합성곱 신경망을 통해 탐색하여 동작 레이블을 예측한다. NTU RGB+D, UTD-MHAD, PennAction 데이터셋에서 수행한 실험을 통해 본 방법의 효과성을 입증하였으며, 기존의 대부분의 최첨단 방법들을 능가하는 성능을 보였다.