HyperAIHyperAI

Command Palette

Search for a command to run...

Ein einfacher Multi-Modality Transfer Learning-Baseline für die Gebärdensprache-Übersetzung

Yutong Chen Fangyun Wei Xiao Sun Zhirong Wu Stephen Lin

Zusammenfassung

Diese Arbeit stellt einen einfachen Transfer-Learning-Baselines für die Gebärdensprachübersetzung vor. Bestehende Gebärdensprachdatensätze (z. B. PHOENIX-2014T, CSL-Daily) enthalten lediglich etwa 10.000 bis 20.000 Paare aus Gebärdenvideos, Gloss-Anmerkungen und Texten, was eine Größenordnung kleiner ist als typische parallele Datenmengen zur Trainings von Übersetzungsmodellen für gesprochene Sprachen. Daten stellen daher eine zentrale Herausforderung für die Entwicklung effektiver Modelle zur Gebärdensprachübersetzung dar. Um dieses Problem zu mildern, schlagen wir vor, das Modell schrittweise vorzutrainieren: zunächst auf allgemeinen Domänen mit großer externer Aufsicht, anschließend auf spezifischen Domänen. Konkret pretrainieren wir das visuelle Netzwerk für die Übersetzung von Gebärdensprache in Gloss auf der allgemeinen Domäne menschlicher Aktionen sowie auf der spezifischen Domäne eines Gebärdensprache-zu-Gloss-Datensatzes. Gleichzeitig pretrainieren wir das Gloss-zu-Text-Übersetzungsnetzwerk auf der allgemeinen Domäne eines mehrsprachigen Korpus sowie auf der spezifischen Domäne eines Gloss-zu-Text-Korpus. Das integrierte Modell wird abschließend durch ein zusätzliches Modul, den sogenannten visuellen-Sprach-Mapper, feinabgestimmt, welches die beiden Netzwerke verbindet. Dieser einfache Baseline-Ansatz übertrifft die bisherigen State-of-the-Art-Ergebnisse auf zwei etablierten Benchmarks für Gebärdensprachübersetzung und demonstriert somit die Wirksamkeit des Transfer-Learning-Ansatzes. Aufgrund seiner Einfachheit und seiner starken Leistungsfähigkeit kann dieser Ansatz als solide Grundlage für zukünftige Forschung dienen. Der Quellcode und die Modelle sind verfügbar unter: https://github.com/FangyunWei/SLRT.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp