초록
이 연구는 깊은 신경망을 활용하여 연속된 수어(SL) 인식 프레임워크를 개발하며, 수어 문장의 영상을 직접 순서가 지정된 글로스 레이블 시퀀스로 변환한다. 기존의 연속 수어 인식 방법들은 시간 정보를 제한된 능력으로만 포착할 수 있는 은닉 마르코프 모델(HMM)을 주로 사용해왔다. 반면, 본 연구에서 제안하는 아키텍처는 깊은 합성곱 신경망과 스택형 시간 통합 레이어를 특징 추출 모듈로, 양방향 순환 신경망을 시퀀스 학습 모듈로 채택하였다. 제한된 데이터 환경에서도 깊은 신경망의 표현 능력을 극대화하기 위해, 본 아키텍처를 위한 반복 최적화 과정을 제안한다. 먼저 엔드투엔드 인식 모델을 통해 어래이먼트(정렬) 제안을 학습한 후, 이 제안된 정렬 정보를 강력한 감독 신호로 활용하여 특징 추출 모듈을 직접 조정한다. 이 학습 과정은 반복적으로 수행 가능하며, 결과적으로 인식 성능을 지속적으로 향상시킬 수 있다. 또한, 본 연구는 RGB 이미지와 광학 흐름(optical flow)의 다중 모달 융합을 탐색하며 수어 인식 성능을 개선하는 데 기여한다. 제안된 방법은 두 가지 도전적인 수어 인식 벤치마크에서 평가되었으며, 각 데이터베이스에서 기존 최고 성능 기술 대비 상대적 개선률이 15% 이상을 기록하며 우수한 성능을 보였다.