브라질 신문언어 인식 향상을 위한 스켈레톤 이미지 표현

청각장애인의 사회적 포용을 위해서는 효과적인 의사소통이 필수적이다. 그러나 수어(Sign Language, SL) 지식의 제한으로 인해 지속적인 의사소통 장벽이 존재하며, 이는 그들의 완전한 사회 참여를 방해하고 있다. 이러한 맥락에서 서명하는 사람과 서명하지 않는 사람 간의 의사소통을 향상시키기 위해 수어 인식(Sign Language Recognition, SLR) 시스템이 개발되어 왔다. 특히, 시각 기반 수어 검색 엔진, 학습 도구 및 번역 시스템 개발과 관련하여 고립된 서명(Isolated Sign Language Recognition, ISLR)을 인식하는 문제는 매우 중요한 과제로 여겨진다. 본 연구에서는 시간에 따라 신체, 손, 얼굴의 지점(landmark)을 추출하여 2차원 이미지로 인코딩하는 ISLR 접근법을 제안한다. 이 이미지는 컨볼루셔널 신경망(Convolutional Neural Network)을 통해 시각-시간 정보를 서명 레이블로 매핑한다. 실험 결과, 본 연구의 방법은 브라질 수어(LIBRAS)에서 널리 인용되는 두 가지 데이터셋에서 최신 기술(SOTA)을 초월하는 성능 지표를 보였다. 또한, 더 높은 정확도 외에도 단순한 네트워크 아키텍처와 RGB 데이터만을 입력으로 사용함으로써 학습이 더 효율적이고 시간적으로 유리한 특징을 지닌다.