지시 영상에서의 수어 번역

자동 수어 번역(SLT) 기술의 발전은 대부분 규모가 제한적이고 영역이 제한된 데이터셋을 기준으로 평가되어 왔다. 본 연구는 대규모이고 포괄적인 데이터셋인 How2Sign에 대해 최초의 기준 성능 결과를 제시함으로써 기술적 한계를 극복하고, 최신 기술 수준을 한 단계 도약시켰다. 우리는 I3D 영상 특징을 기반으로 Transformer 모델을 학습시키며, 일반적으로 사용되는 BLEU 점수 대신 감소된 BLEU 점수를 검증 지표로 활용하였다. 본 연구에서는 BLEU 점수 8.03의 성능을 보고하였으며, 향후 연구 발전을 촉진하기 위해 최초로 오픈소스 형태의 구현체를 공개하였다.