포인트 클라우드 기반 손 동작 인식을 위한 자세 및 위치 표현의 융합

손 제스처 인식은 풍부한 기하학적 정보를 포함하고 있으며, 시공간적 특징을 효과적으로 학습할 수 있는 3D 포인트 클라우드 시퀀스를 직접 처리함으로써 큰 이점을 얻을 수 있다. 그러나 현재 널리 사용되는 싱글 스트림 모델은 세밀한 국소적 자세 변화와 전반적인 손 움직임을 포함한 다중 스케일 특징을 충분히 포착하지 못하는 한계가 있다. 이를 해결하기 위해 우리는 국소적 특징과 전반적 특징의 학습을 분리하는 새로운 이중 스트림 모델을 제안한다. 이 모델은 각각의 특징을 분리하여 학습한 후, LSTM을 활용하여 시간적 모델링을 수행한다. 전역적 특징과 국소적 특징을 보완적으로 학습하도록 유도하기 위해, 두 스트림에 서로 다른 3D 학습 아키텍처를 적용한다. 구체적으로, 최신의 포인트 클라우드 네트워크는 국소 스트림에서 원시 포인트 클라우드로부터 세밀한 자세 변화를 효과적으로 포착하는 데 뛰어나다. 전역 스트림에서는 손의 움직임을 추적하기 위해 잔차 기저 포인트 세트(Residual Basis Point Sets)를 활용한 인코딩과 완전 연결형 DenseNet을 결합한다. 제안한 방법은 Shrec'17 및 DHG 데이터셋에서 평가되었으며, 계산 비용을 감소시키면서도 최신 기술 수준(SOTA)의 성능을 달성하였다. 소스 코드는 다음 주소에서 공개되어 있다: https://github.com/multimodallearning/hand-gesture-posture-position.