시각 정보를 활용한 다국어 간 전이 학습을 통한 자동 수어 제스처 인식

청각장애인과 사회 구성원 간의 소통을 촉진하는 데 핵심적인 역할을 하는 자동 서체 제스처 인식(GR)은 여전히 다양한 서체 언어(SL)의 존재와 레이블링된 데이터의 제한적인 가용성으로 인해 정확하고 효율적인 인식이 어려운 도전 과제를 안고 있다. 본 과학 논문은 시각 정보를 활용한 다국어 간 전이 학습(transfer learning)을 통해 자동 서체 GR의 정확도를 향상시키는 새로운 접근 방식을 제안한다. 본 연구의 기초 서체 언어로는 앙카라 대학교 터키 서체 언어 데이터셋(AUTSL)과 테사우루스 러시아 서체 언어(TheRusLan)라는 두 개의 대규모 다모달 서체 언어 코퍼스를 활용하였다. 실험 결과, 러시아 표적 서체 언어 제스처를 포함한 18개의 다양한 제스처에 대해 93.33%의 정확도를 달성하였으며, 이는 기존 최고 성능 기준보다 2.19% 향상된 결과로, 제안된 방법의 효과성을 입증한다. 본 연구는 제안된 접근법이 기계적 서체 언어 번역의 정확성과 강건성 향상, 인간-컴퓨터 상호작용의 자연스러움 개선, 청각장애인의 사회적 적응 촉진에 기여할 수 있는 잠재력을 강조한다. 본 논문은 향후 연구를 위한 유망한 방향을 제시하며, 제안된 방법을 다른 서체 언어에 적용하는 것과 개인 및 문화적 차이가 GR에 미치는 영향을 탐구하는 것을 제안한다.