HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung der Gebärdensprachübersetzung durch monolinguale Daten mittels Gebärdensprache-Back-Translation

Hao Zhou Wengang Zhou Weizhen Qi Junfu Pu Houqiang Li

Zusammenfassung

Trotz bestehender wegweisender Arbeiten im Bereich der Gebärdensprachübersetzung (SLT) besteht eine erhebliche Herausforderung darin, dass parallele Gebärdensprache-Text-Daten in begrenzter Menge vorliegen. Um dieses Problem der begrenzten parallelen Daten zu bewältigen, schlagen wir eine Methode namens Sign Back-Translation (SignBT) vor, die große Mengen gesprochener Sprachtexte in den Trainingsprozess der SLT integriert. Mit einem Text-zu-Gloss-Übersetzungsmodell übersetzen wir zunächst monolinguale Texte rückwärts in eine Glosse-Sequenz. Anschließend wird die Paarung von Gebärdensequenzen auf Merkmalsebene durch Zusammensetzen von Teilen aus einer geschätzten Gloss-zu-Gebärdensprache-Datenbank generiert. Schließlich dient die synthetisch erzeugte parallele Datenmenge als starkes Ergänzungsmaterial für den end-to-end-Training des Encoder-Decoder-SLT-Frameworks.Um die Forschung im Bereich der SLT voranzutreiben, tragen wir zudem das CSL-Daily-Datenset bei, ein großskaliges Datenset für kontinuierliche SLT. Es bietet sowohl Übersetzungen in gesprochener Sprache als auch Glossebene-Anmerkungen. Die Themen beziehen sich auf Alltagsleben (z. B. Reisen, Einkaufen, medizinische Versorgung), was die wahrscheinlichste Anwendungssituation für SLT darstellt. Ausführliche experimentelle Ergebnisse und Analysen verschiedener SLT-Methoden werden auf CSL-Daily präsentiert. Mit der vorgeschlagenen SignBT-Methode erzielen wir eine signifikante Verbesserung gegenüber vorherigen state-of-the-art-Methoden in der SLT.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp