공간-시간 그래프 컨볼루션 네트워크에서 행동 인식을 위한 정점 특성 인코딩과 계층적 시간 모델링

본 논문은 뼈대 기반 동작 인식을 위한 공간-시간 그래프 컨볼루션 네트워크(ST-GCN)를 확장하기 위해 두 가지 새로운 모듈, 즉 그래프 정점 특징 인코더(GVFE)와 확장 계층적 시계열 컨볼루션 네트워크(DH-TCN)를 도입한다. 한편으로 GVFE 모듈은 원시 뼈대 데이터를 새로운 특징 공간으로 인코딩함으로써 동작 인식에 적합한 정점 특징을 학습한다. 다른 한편으로 DH-TCN 모듈은 계층적 확장 컨볼루션 네트워크를 활용하여 단기적 및 장기적 시계적 종속성을 모두 포착할 수 있다. 제안된 방법은 도전적인 NTU RGB-D-60 및 NTU RGB-D 120 데이터셋을 대상으로 실험을 수행하였다. 실험 결과, 제안 방법은 최첨단 기법들과 경쟁 가능한 성능을 달성하면서도 더 적은 층 수와 파라미터 수를 사용함으로써 훈련 시간과 메모리 요구량을 감소시켰다.