점군 기반 제스처 인식을 위한 효율적인 PointLSTM

포인트 클라우드는 � бог rich한 공간 정보를 포함하고 있으며, 이는 제스처 인식에 보완적인 단서를 제공한다. 본 논문에서는 제스처 인식 문제를 비정규 시계열 인식 문제로 재정의하고, 포인트 클라우드 시계열 간의 장기적 공간 상관관계를 포착하는 것을 목표로 한다. 제안된 새로운 효과적인 PointLSTM은 과거에서 미래로 정보를 전파하면서도 공간 구조를 유지할 수 있도록 설계되었다. PointLSTM은 과거 이웃 포인트들의 상태 정보를 현재 특징과 결합하여, 가중치 공유(LSTM) 레이어를 통해 현재 상태를 업데이트한다. 이 방법은 다양한 다른 시계열 학습 접근법에 쉽게 통합될 수 있다. 제스처 인식 작업에서 제안된 PointLSTM은 두 가지 도전적인 데이터셋(NVGesture 및 SHREC'17)에서 최신 기술 수준의 성능을 달성하며, 기존의 스켈레톤 기반 방법들을 모두 상회한다. 일반화 능력을 입증하기 위해 MSR Action3D 데이터셋에서도 제안 방법을 평가한 결과, 기존 스켈레톤 기반 방법들과 경쟁 가능한 성능을 보였다.