골격 데이터로부터의 동적 손 제스처 인식을 위한 모션 특징 증강 네트워크

동적 손 동작 인식은 인간-컴퓨터 상호작용에서의 중요성으로 인해 점점 더 많은 주목을 받고 있다. 본 논문에서는 뼈대 데이터로부터 동적 손 동작 인식을 위한 새로운 운동 특징 증강 네트워크(MFA-Net)를 제안한다. MFA-Net은 손가락의 운동 특징과 전반적인 움직임 특징을 활용하여 깊이 신경망의 특징을 증강함으로써 동작 인식 성능을 향상시킨다. 손가락의 관절적 움직임을 정확히 표현하기 위해, 변분 오토인코더를 이용하여 손 뼈대 시퀀스에서 손가락 운동 특징을 추출한다. 또한 전반적인 손 뼈대의 움직임을 표현하기 위해 전역 운동 특징을 활용한다. 이러한 운동 특징들과 뼈대 시퀀스는 이후 순환 신경망(RNN)의 세 가지 분기로 입력되어, RNN의 운동 특징을 더욱 강화하고 분류 성능을 향상시킨다. 제안된 MFA-Net은 DHG-14/28 데이터셋과 SHREC’17 데이터셋을 포함한 두 가지 도전적인 뼈대 기반 동적 손 동작 인식 데이터셋에서 평가되었다. 실험 결과, 기존 최첨단 방법들과 비교하여 DHG-14/28 데이터셋에서는 유사한 성능을, SHREC’17 데이터셋에서는 더 우수한 성능을 달성함을 입증하였다.