단방향 데이터를 활용한 시그널 백역역(Back-Translation)을 통한 수어 번역 향상

시그널 언어 번역(SLT)에 관한 기존의 선도적 연구에도 불구하고, 병렬 시그널-텍스트 데이터의 양이 제한적이라는 비현실적인 장애물이 존재한다. 이러한 병렬 데이터의 한계를 극복하기 위해, 우리는 방대한 말하기 언어 텍스트를 SLT 학습에 통합하는 시그널 백트랜슬레이션(SignBT) 방법을 제안한다. 먼저, 텍스트-글로스 번역 모델을 활용하여 단일 언어 텍스트를 그에 해당하는 글로스 시퀀스로 역번역한다. 이후 특징 수준에서 추정된 글로스-시그널 은행에서 조각들을 연결함으로써 쌍을 이룬 시그널 시퀀스를 생성한다. 마지막으로, 생성된 합성 병렬 데이터는 인코더-디코더 기반의 엔드투엔드 SLT 프레임워크 학습을 위한 강력한 보완 자료로 활용된다.SLT 연구의 발전을 위해, 우리는 대규모 연속형 SLT 데이터셋인 CSL-Daily를 추가로 기여한다. 이 데이터셋은 말하기 언어 번역과 글로스 수준의 주석을 모두 제공하며, 주제는 여행, 쇼핑, 의료 등 일상생활과 관련된 내용으로, SLT 기술이 가장 가능성이 높은 실제 적용 시나리오를 반영한다. 본 연구에서는 CSL-Daily에서 다양한 SLT 방법에 대한 광범위한 실험 결과와 분석을 보고한다. 제안한 시그널 백트랜슬레이션 방법을 적용함으로써, 기존 최고 성능의 SLT 방법들에 비해 상당한 성능 향상을 달성하였다.