인간 활동 인식: 온라인 동작 탐지용 3D 스켈레톤 데이터의 시공간 이미지 인코딩

스켈레톤 데이터(예: Kinect 등에서 추출하거나 깊이 카메라를 통해 제공되는 데이터)를 기반으로 한 인간 활동 인식(HAR)은 시계열 분류 문제에 속하며, 우수한 인식 성능을 달성하기 위해서는 공간적 및 시간적 종속성 처리가 핵심적인 과제이다. 온라인 인간 활동 인식에서 활동의 시작과 종료를 식별하는 것은 중요한 요소이지만, 지속적인 데이터 흐름 상황에서는 이를 구분하는 것이 어려울 수 있다. 본 연구에서는 스켈레톤 관절 간 존재하는 공간적 및 시간적 종속성을 유지하면서 3차원 스켈레톤 데이터를 이미지로 인코딩하는 방법을 제안한다. 이 인코딩 방식을 지속적인 데이터 스트림에 적용하기 위해 슬라이딩 윈도우 기법을 결합함으로써, 시작 또는 종료 타임스탬프가 필요 없이 언제든지 활동 인식이 가능하게 한다. 본 방법은 심층 학습 기반의 CNN 알고리즘을 활용하여 실시간으로 활동을 탐지하는 데에 사용된다.