PoTion: 동작 인식을 위한 자세 모션 표현

최근의 동작 인식 최첨단 기법들은 주로 외형과 운동을 별도로 처리하는 이중 스트림 아키텍처에 의존하고 있다. 본 논문에서는 이러한 두 요소를 함께 고려함으로써 동작 인식에 풍부한 정보를 제공할 수 있음을 주장한다. 우리는 특정 의미적 키포인트의 움직임을 자연스럽게 표현할 수 있는 새로운 표현 방식을 제안한다. 여기서 키포인트로 인간의 관절을 사용하며, 본 연구에서 제안하는 표현 방식을 PoTion(Pose moTion)이라 명명한다. 구체적으로, 먼저 최첨단 인간 자세 추정기(pose estimator)를 실행하여 각 프레임에서 인간 관절에 대한 히트맵(heatmaps)을 추출한다. 이후 이러한 확률 맵들을 시간적으로 집계함으로써 PoTion 표현을 얻는다. 이는 비디오 클립 내 프레임의 상대적 시간에 따라 각 맵을 색상화한 후, 이를 합산함으로써 달성된다. 전체 비디오 클립에 대한 고정된 크기의 표현 방식인 PoTion은 얕은 합성곱 신경망을 활용한 동작 분류에 적합하다. 실험 결과에 따르면 PoTion은 다른 최첨단 자세 표현 방식보다 우수한 성능을 보였다. 또한 기존의 외형 및 운동 스트림과 상호보완적인 성질을 지닌다. 최근의 이중 스트림 I3D 방법[5]과 PoTion을 결합할 경우, JHMDB, HMDB, UCF101 데이터셋에서 최고 수준의 성능을 달성하였다.