空間-시간 주의를 이용한 손동작 인식을 위한 동적 그래프 구축

우리는 손 제스처 인식을 위한 동적 그래프 기반 공간-시간 주의 (DG-STA) 방법을 제안합니다. 핵심 아이디어는 먼저 손 스켈레톤에서 완전 연결 그래프를 구성한 후, 이 그래프의 노드 특징과 엣지는 공간 및 시간 영역에서 작동하는 자기 주의 메커니즘을 통해 자동으로 학습되는 것입니다. 또한, 관절 위치의 공간-시간 정보를 활용하여 도전적인 조건에서도 견고한 인식을 보장하기 위해 제안됩니다. 더불어, 새로운 공간-시간 마스크가 적용되어 계산 비용을 99% 이상 크게 줄일 수 있습니다. 우리는 벤치마크 (DHG-14/28 및 SHREC'17)에서 광범위한 실험을 수행하여 우리의 방법이 최신 기술보다 우수한 성능을 입증하였습니다. 소스 코드는 https://github.com/yuxiaochen1103/DG-STA 에서 확인할 수 있습니다.