Verbesserung der Gebärdensprachübersetzung durch monolinguale Daten mittels Gebärdensprache-Back-Translation

Trotz bestehender wegweisender Arbeiten im Bereich der Gebärdensprachübersetzung (SLT) besteht eine erhebliche Herausforderung darin, dass parallele Gebärdensprache-Text-Daten in begrenzter Menge vorliegen. Um dieses Problem der begrenzten parallelen Daten zu bewältigen, schlagen wir eine Methode namens Sign Back-Translation (SignBT) vor, die große Mengen gesprochener Sprachtexte in den Trainingsprozess der SLT integriert. Mit einem Text-zu-Gloss-Übersetzungsmodell übersetzen wir zunächst monolinguale Texte rückwärts in eine Glosse-Sequenz. Anschließend wird die Paarung von Gebärdensequenzen auf Merkmalsebene durch Zusammensetzen von Teilen aus einer geschätzten Gloss-zu-Gebärdensprache-Datenbank generiert. Schließlich dient die synthetisch erzeugte parallele Datenmenge als starkes Ergänzungsmaterial für den end-to-end-Training des Encoder-Decoder-SLT-Frameworks.Um die Forschung im Bereich der SLT voranzutreiben, tragen wir zudem das CSL-Daily-Datenset bei, ein großskaliges Datenset für kontinuierliche SLT. Es bietet sowohl Übersetzungen in gesprochener Sprache als auch Glossebene-Anmerkungen. Die Themen beziehen sich auf Alltagsleben (z. B. Reisen, Einkaufen, medizinische Versorgung), was die wahrscheinlichste Anwendungssituation für SLT darstellt. Ausführliche experimentelle Ergebnisse und Analysen verschiedener SLT-Methoden werden auf CSL-Daily präsentiert. Mit der vorgeschlagenen SignBT-Methode erzielen wir eine signifikante Verbesserung gegenüber vorherigen state-of-the-art-Methoden in der SLT.