Übersetzung von Gebärdensprache aus Anleitungs-Videos

Die Fortschritte in der automatischen Übersetzung von Gebärdensprachen (SLT) in gesprochene Sprachen wurden bisher überwiegend an Datensätzen geringer Größe und eingeschränkter Domänen evaluiert. Unsere Arbeit stellt einen Fortschritt im Stand der Technik dar, indem sie die ersten Baseline-Ergebnisse für How2Sign präsentiert, einen großen und umfassenden Datensatz. Wir trainieren einen Transformer auf I3D-Videofeatures und verwenden als Validierungsmetrik stattdessen die reduzierte BLEU-Metrik anstelle des weit verbreiteten BLEU-Scores. Wir erzielen einen BLEU-Score von 8,03 und veröffentlichen die erste Open-Source-Implementierung dieser Art, um weitere Fortschritte zu fördern.