신경 신호어 번역을 위한 동결된 사전 훈련된 트랜스포머

서면 언어로의 수어 번역에서 가장 큰 도전 과제 중 하나는 평행 코퍼스(Parallel Corpora)의 부족이다. 최근 연구들은 독일 수어와 독일어 간에 8,000개 이상의 평행 문장을 포함하는 RWTH-PHOENIX-Weather 2014T 데이터셋에서 유망한 성과를 달성하였다. 그러나 신경 기계 번역(Neural Machine Translation)의 관점에서 보면, 이는 여전히 매우 소규모의 데이터셋이다. 소규모 데이터셋에서 학습된 모델의 성능을 향상시키기 위해 전이 학습(Transfer Learning) 기법을 활용할 수 있다. 기존 연구에서는 특징 추출을 위한 전이 학습이 수어 번역 분야에 적용된 바 있으나, 본 연구자들의 지식에 따르면, 미리 훈련된 언어 모델의 활용은 아직 탐색되지 않은 분야이다. 본 연구에서는 미리 훈련된 BERT-base 및 mBART-50 모델을 사용하여 수어 영상에서 말하는 언어 텍스트로의 번역 모델을 초기화하였다. 과적합(Overfitting)을 완화하기 위해, 훈련 중 대부분의 파라미터를 동결하는 '동결된 미리 훈련된 트랜스포머(Frozen Pretrained Transformer)' 기법을 도입하였다. 미리 훈련된 BERT 모델을 사용함으로써, 초기화 없이 직접 학습한 기준 모델(Baseline)보다 BLEU-4 점수에서 1~2점 높은 성능을 달성하였다. 실험 결과는 미리 훈련된 언어 모델이 수어 번역 성능 향상에 효과적으로 활용될 수 있으며, BERT 모델 내부의 자기 주의(Self-Attention) 패턴이 수어 번역 모델의 인코더 및 디코더에 제로샷(Zero-shot)으로 전이될 수 있음을 시사한다.