공간 주의 기반 3D 그래프 컨볼루션 신경망을 이용한 서사 언어 인식

청각장애인이 타인과 소통하는 주요 수단은 수어이다. 수어는 수동적 요소와 비수동적 요소의 고도로 구조화된 구성 요소를 전달하는 시각적 언어로서, 청각장애인 외의 사람들이 이를 습득하기 위해 많은 노력을 기울여야 한다. 수어 인식 기술은 이러한 습득의 어려움을 완화하고 청각장애인과 일반인 사이의 소통 격차를 해소하는 것을 목적으로 한다. 본 연구는 합성 그래프 신경망(Convolutional Graph Neural Network, GCN) 기반의 효율적인 수어 인식 아키텍처를 제안한다. 제안된 아키텍처는 분리형 3DGCN 레이어를 적은 수로 구성하며, 공간 주의 메커니즘(spatial attention mechanism)을 통해 성능이 향상된다. 제안된 아키텍처는 깊은 그래프 신경망에서 흔히 발생하는 과도한 평활화(over-smoothing) 문제를 피할 수 있도록 레이어 수를 제한하였으며, 주의 메커니즘은 제스처의 공간적 맥락 표현을 강화한다. 제안된 아키텍처는 다양한 데이터셋에서 평가되었으며, 뛰어난 성능을 보였다.