Bukva: 러시아 수화 알파벳

본 논문은 러시아 손가락 철자 알파벳, 즉 러시아 수화(RSL) 다클릴의 인식을 연구합니다. 다클릴은 특정한 손동작이 글자의 각 문자를 표현하는 수화의 구성 요소입니다. 이 방법은 특정 기호가 없는 단어, 예를 들어 고유 명사나 기술 용어 등을 철자로 쓸 때 사용됩니다. 알파벳 학습 시뮬레이터는 중요한 독립된 다클릴 인식 응용 프로그램 중 하나입니다. 독립된 다클릴 인식에서 데이터 부족 문제가 두드러지는데, 기존의 러시아 다클릴 데이터셋들은 주제의 다양성이 부족하거나 충분한 샘플이 없거나 정적인 기호만을 포함하고 있습니다. 우리는 RSL 다클릴 인식을 위한 최초의 완전한 오픈 소스 비디오 데이터셋인 '부크바(Bukva)'를 제공합니다. 이 데이터셋에는 3,757개의 비디오가 포함되어 있으며, 각 RSL 알파벳 기호에 대해 101개 이상의 샘플이 있으며 동적인 기호도 포함하고 있습니다. 크라우드소싱 플랫폼을 활용하여 주제의 다양성을 증가시키고, 결과적으로 155명의 청각 장애 전문가들이 데이터셋 생성에 참여하였습니다. 우리는 정적 및 동적 기호를 효과적으로 처리하기 위해 TSM (시간 이동 모듈) 블록을 사용하여 CPU만으로 실시간 추론을 수행하면서 83.6%의 상위 1등급 정확도를 달성했습니다. 데이터셋, 데모 코드 및 사전 훈련된 모델은 공개적으로 이용 가능합니다.