Mediapi-RGB: Förderung technologischer Durchbrüche in der Forschung zur Französischen Gebärdensprache (LSF) durch eine umfangreiche Video-Text-Korpus

Wir stellen Mediapi-RGB vor, einen neuen Datensatz für die Französische Gebärdensprache (LSF) sowie das erste maschinelle Übersetzungsmodell von LSF ins Französische. Mit insgesamt 86 Stunden Videomaterial ist es der größte bisher verfügbare Korpus für die LSF mit Übersetzungen. Der Korpus besteht aus originären Inhalten in Französischer Gebärdensprache, die von gehörlosen Journalisten erstellt wurden, und enthält synchronisierte Untertitel in schriftlichem Französisch. Die aktuelle Version von Mediapi-RGB ist im Ortolang-Korpus-Repository verfügbar und kann für akademische Forschungszwecke genutzt werden. Die Test- und Validierungssets enthalten jeweils 13 bzw. 7 Stunden Videomaterial. Der Trainingsdatensatz umfasst 66 Stunden, die schrittweise bis Dezember 2024 freigegeben werden. Zudem enthält die aktuelle Version für alle Videos in Trainings-, Validierungs- und Testsets Knochenmarkierungspunkte (skeleton keypoints), zeitliche Segmentierung der Gebärden, raumzeitliche Merkmale sowie Untertitel. Zusätzlich wird ein vorgeschlagener Wortschatz an Substantiven für Evaluierungszwecke bereitgestellt. Außerdem präsentieren wir die Ergebnisse eines ersten Baseline-Modells für die Übersetzung von LSF ins Französische, um einen Überblick über die Möglichkeiten zu geben, die dieser bisher einzigartige Korpus für die LSF eröffnet. Abschließend werden mögliche technologische und linguistische Anwendungen für diesen neuen Video-Text-Datensatz diskutiert.