Ein einfacher Multi-Modality Transfer Learning-Baseline für die Gebärdensprache-Übersetzung

Diese Arbeit stellt einen einfachen Transfer-Learning-Baselines für die Gebärdensprachübersetzung vor. Bestehende Gebärdensprachdatensätze (z. B. PHOENIX-2014T, CSL-Daily) enthalten lediglich etwa 10.000 bis 20.000 Paare aus Gebärdenvideos, Gloss-Anmerkungen und Texten, was eine Größenordnung kleiner ist als typische parallele Datenmengen zur Trainings von Übersetzungsmodellen für gesprochene Sprachen. Daten stellen daher eine zentrale Herausforderung für die Entwicklung effektiver Modelle zur Gebärdensprachübersetzung dar. Um dieses Problem zu mildern, schlagen wir vor, das Modell schrittweise vorzutrainieren: zunächst auf allgemeinen Domänen mit großer externer Aufsicht, anschließend auf spezifischen Domänen. Konkret pretrainieren wir das visuelle Netzwerk für die Übersetzung von Gebärdensprache in Gloss auf der allgemeinen Domäne menschlicher Aktionen sowie auf der spezifischen Domäne eines Gebärdensprache-zu-Gloss-Datensatzes. Gleichzeitig pretrainieren wir das Gloss-zu-Text-Übersetzungsnetzwerk auf der allgemeinen Domäne eines mehrsprachigen Korpus sowie auf der spezifischen Domäne eines Gloss-zu-Text-Korpus. Das integrierte Modell wird abschließend durch ein zusätzliches Modul, den sogenannten visuellen-Sprach-Mapper, feinabgestimmt, welches die beiden Netzwerke verbindet. Dieser einfache Baseline-Ansatz übertrifft die bisherigen State-of-the-Art-Ergebnisse auf zwei etablierten Benchmarks für Gebärdensprachübersetzung und demonstriert somit die Wirksamkeit des Transfer-Learning-Ansatzes. Aufgrund seiner Einfachheit und seiner starken Leistungsfähigkeit kann dieser Ansatz als solide Grundlage für zukünftige Forschung dienen. Der Quellcode und die Modelle sind verfügbar unter: https://github.com/FangyunWei/SLRT.