Mediapi-RGB: 영상-텍스트 코퍼스를 통한 광범위한 프랑스 수어(LSF) 연구에서의 기술적 돌파구 실현

우리는 프랑스 수어(LSF)를 대상으로 한 새로운 데이터셋인 Mediapi-RGB와 함께, 처음으로 LSF에서 프랑스어로의 기계 번역 모델을 소개한다. 총 86시간의 영상으로 구성된 이 데이터셋은 번역이 제공되는 가장 큰 LSF 코퍼스이다. 이 코퍼스는 청각 장애 기자들이 제작한 원천적인 프랑스 수어 콘텐츠로 구성되며, 서면 프랑스어로 작성된 자막이 수어와 정확히 일치하도록 정렬되어 있다. 현재 Mediapi-RGB의 공개 버전은 Ortolang 코퍼스 저장소에서 제공되며, 학술 연구 목적으로 활용할 수 있다. 테스트 세트와 검증 세트는 각각 13시간과 7시간의 영상으로 구성되어 있으며, 학습 세트는 총 66시간의 영상으로 구성되어 있으며, 2024년 12월까지 점진적으로 공개될 예정이다. 또한, 현재 공개된 버전에는 학습, 검증, 테스트 세트에 포함된 모든 영상에 대해 뼈대 키포인트, 수어 시계열 분할, 공간-시계열 특징, 자막이 포함되어 있으며, 평가 목적을 위해 제안된 명사어휘 목록도 포함되어 있다. 더불어, 이 데이터셋의 품질과 규모를 고려할 때, LSF 분야에서 처음으로 제시된 LSF-프랑스어 번역 기준 모델의 성능 결과를 제시함으로써, 이 새로운 데이터셋이 제공하는 잠재력을 종합적으로 설명한다. 마지막으로, 이 새로운 영상-텍스트 데이터셋이 가질 수 있는 기술적 및 언어학적 응용 가능성을 제안한다.