HyperAIHyperAI

Command Palette

Search for a command to run...

Mediapi-RGB: Förderung technologischer Durchbrüche in der Forschung zur Französischen Gebärdensprache (LSF) durch eine umfangreiche Video-Text-Korpus

Annelies Braffort Thomas Hueber Denis Beautemps Michèle Gouiffès Hannah Bull Yanis Ouakrim

Zusammenfassung

Wir stellen Mediapi-RGB vor, einen neuen Datensatz für die Französische Gebärdensprache (LSF) sowie das erste maschinelle Übersetzungsmodell von LSF ins Französische. Mit insgesamt 86 Stunden Videomaterial ist es der größte bisher verfügbare Korpus für die LSF mit Übersetzungen. Der Korpus besteht aus originären Inhalten in Französischer Gebärdensprache, die von gehörlosen Journalisten erstellt wurden, und enthält synchronisierte Untertitel in schriftlichem Französisch. Die aktuelle Version von Mediapi-RGB ist im Ortolang-Korpus-Repository verfügbar und kann für akademische Forschungszwecke genutzt werden. Die Test- und Validierungssets enthalten jeweils 13 bzw. 7 Stunden Videomaterial. Der Trainingsdatensatz umfasst 66 Stunden, die schrittweise bis Dezember 2024 freigegeben werden. Zudem enthält die aktuelle Version für alle Videos in Trainings-, Validierungs- und Testsets Knochenmarkierungspunkte (skeleton keypoints), zeitliche Segmentierung der Gebärden, raumzeitliche Merkmale sowie Untertitel. Zusätzlich wird ein vorgeschlagener Wortschatz an Substantiven für Evaluierungszwecke bereitgestellt. Außerdem präsentieren wir die Ergebnisse eines ersten Baseline-Modells für die Übersetzung von LSF ins Französische, um einen Überblick über die Möglichkeiten zu geben, die dieser bisher einzigartige Korpus für die LSF eröffnet. Abschließend werden mögliche technologische und linguistische Anwendungen für diesen neuen Video-Text-Datensatz diskutiert.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Mediapi-RGB: Förderung technologischer Durchbrüche in der Forschung zur Französischen Gebärdensprache (LSF) durch eine umfangreiche Video-Text-Korpus | Paper | HyperAI