Cross-Language Transfer Learning unter Verwendung visueller Informationen für die automatische Erkennung von Gebärdengesten

Die automatische Erkennung von Gebärden (Gesture Recognition, GR) spielt eine entscheidende Rolle bei der Verbesserung der Kommunikation zwischen gehörlosen Personen und der übrigen Gesellschaft. Die präzise und effiziente Erkennung von Gebärden bleibt jedoch eine herausfordernde Aufgabe, bedingt durch die Vielfalt an Gebärden- und Gebärdensprachen (Sign Languages, SLs) sowie die begrenzte Verfügbarkeit an annotierten Datensätzen. In diesem wissenschaftlichen Beitrag wird ein neuer Ansatz vorgestellt, um die Genauigkeit der automatischen Gebärden-GR durch den Einsatz von cross-language Transfer Learning mit visuellen Informationen zu verbessern. Als Grundlage dienen zwei großskalige multimodale SL-Korpora: das Ankara University Turkish Sign Language Dataset (AUTSL) und das Thesaurus Russian Sign Language (TheRusLan). Experimentelle Studien ergaben eine Erkennungsgenauigkeit von 93,33 % für 18 verschiedene Gebärden, darunter auch Gebärden der russischen Ziel-Sprache. Dieser Wert übertrifft die bisher beste Ergebnisgenauigkeit um 2,19 % und belegt die Wirksamkeit des vorgeschlagenen Ansatzes. Die Studie unterstreicht das Potenzial des vorgeschlagenen Verfahrens, die Genauigkeit und Robustheit maschineller Gebärdensprachübersetzung zu steigern, die Natürlichkeit der Mensch-Computer-Interaktion zu verbessern und die soziale Integration gehörloser Menschen zu fördern. Der Beitrag eröffnet eine vielversprechende Forschungsrichtung für zukünftige Arbeiten, die die Anwendung des vorgeschlagenen Ansatzes auf weitere Gebärden- und Gebärdensprachen untersuchen sowie die Auswirkungen individueller und kultureller Unterschiede auf die Gebärden-Erkennung analysieren sollen.