스패시오-템포럴 그래프 컨볼루션을 이용한 스켈레톤 기반 행동 인식

인체 스켈레톤의 변형은 다양한 실제 응용 분야에서 일반적으로 사용되는 데이터 표현 방식인 동적 그래프로 간주될 수 있습니다. 본 논문에서는 로컬 컨볼루션 필터링의 성공과 자기회귀 이동 평균의 시퀀스 학습 능력을 결합하기 위한 공간-시간 그래프 컨볼루션(STGC) 접근법을 제안합니다. 동적 그래프를 인코딩하기 위해, 시간과 공간 영역의 구조화된 그래프 데이터에 대해 재귀적으로 수행되는 다중 규모의 로컬 그래프 컨볼루션 필터가 구성됩니다. 이 필터는 로컬 수용 영역과 신호 매핑으로 이루어진 행렬로 구성됩니다. 제안된 모델은 일반적이며 원칙적이어서 다른 동적 모델로 일반화될 수 있습니다. 우리는 STGC의 안정성을 이론적으로 증명하고 학습할 신호 변환의 상한을 제공합니다. 또한, 제안된 재귀 모델은 다층 아키텍처로 쌓일 수 있습니다. 우리의 모델을 평가하기 위해, 대규모 도전적인 NTU RGB+D를 포함한 네 개의 벤치마크 스켈레톤 기반 행동 데이터셋에서 광범위한 실험을 수행했습니다. 실험 결과는 제안된 모델의 효과성과 기존 최신 연구보다 향상된 성능을 보여줍니다.