3D 스텐실 기반 손 활동 인식을 위한 효율적인 다중 스트림 시계열 학습 및 포스트 퓨전 전략

제1인칭 손 활동 인식은 특히 충분한 데이터가 부족한 경우 매우 도전적인 과제이다. 본 논문에서는 뼈대 기반 손 활동 인식을 위한 새로운 하이브리드 학습 파이프라인을 제안함으로써 이 도전에 대응한다. 제안하는 파이프라인은 세 가지 블록으로 구성된다. 먼저, 주어진 손 관절 위치 시계열에 대해 국소적이고 전역적인 공간적 수작업 특징의 전용 조합을 활용하여 공간적 특징을 추출한다. 다음으로, 다중 스트림 학습 전략을 사용하여 시간적 의존성을 학습한다. 마지막으로, 이전에 학습된 시간적 의존성에 대해 본 연구에서 제안한 포스트-퓨전 전략을 적용하여 손 활동 시계열 분류기를 학습한다. 두 개의 실세계 데이터셋에서 수행된 실험 결과, 제안하는 방법이 최신 기술(SOTA)보다 우수한 성능을 보였다. 보다 심층적인 아블레이션 연구를 위해, 포스트-퓨전 전략을 세 가지 전통적인 퓨전 기반 방법과 비교하였으며, 정확도 측면에서 2.4% 이상의 개선을 입증하였다.