온라인 인간 행동 인식을 위한 향상된 시공간 이미지 인코딩

RGB+D 카메라로부터 추출한 3D 스켈레톤 데이터를 활용하여 센서 데이터 기반의 인간 활동 인식(HAR)은 시계열 분류 문제로 간주될 수 있으며, 이 과정에서 공간적 및 시간적 종속성을 동시에 다루는 동시에 가장 관련 있는 데이터 변동성을 집중적으로 고려하는 것이 과제이다. 본 연구에서는 Kinect 센서로부터 캡처한 3D 스켈레톤의 공간-시간 이미지 인코딩을 개선하기 위해, 특정 동작 수행 시 가장 활발히 사용되는 스켈레톤 관절에 초점을 맞춘 '운동 에너지(motion energy)' 개념을 탐구한다. 이러한 인코딩 방식은 활동의 가장 중요한 부분에 주목함으로써 온라인 활동 탐지의 구분 능력을 향상시킨다. 본 논문에서는 이러한 새로운 인코딩 방법과 이를 활용한 깊이 학습 모델 기반 HAR의 적용 사례를 제시한다. 이를 위해 Keras에서 제공하는 여러 사전 학습된 CNN 모델의 지식 전이 가능성(knowledge transferability)을 탐색하였다. 결과적으로 기존의 최신 기술 대비 학습 정확도에서 뚜렷한 향상이 나타났음을 보여준다.