초록
동적 손 제스처 인식은 컴퓨터 비전 분야에서 핵심적이지만 도전적인 과제이다. 이 작업의 핵심은 다양한 제스처의 변화를 모델링하기 위해 구분력 있는 공간적 및 시간적 특징을 효과적으로 추출하는 데에 있다. 본 논문에서는 뼈대 기반 동적 손 제스처 인식을 위한 엔드투엔드 공간-시간 주의 메커니즘을 갖춘 잔차 시간 컨볼루션 신경망(STA-Res-TCN)을 제안한다. 이 모델은 각 시간 단계에서 컨볼루션 필터가 추출한 공간-시간 특징에 대해 서로 다른 수준의 주의(attention)를 학습하고, 이를 할당함으로써 정보가 풍부한 시간 프레임과 특징에 자동으로 집중하면서 불필요한 노이즈를 유발하는 무관한 요소들을 제거할 수 있도록 한다. 또한 제안된 STA-Res-TCN은 가볍고 빠른 모델로, 매우 짧은 시간 내에 학습 및 테스트가 가능하다. DHG-14/28 데이터셋과 SHREC’17 Track 데이터셋에서의 실험 결과, STA-Res-TCN은 14가지 제스처 설정과 더 복잡한 28가지 제스처 설정 모두에서 기존 최고 성능 기법들을 뛰어넘는 성능을 보였다.