Verbesserung der Erkennung der Brasilianischen Gebärdensprache durch Darstellung mittels Skelettbilder

Effektive Kommunikation ist entscheidend für die Inklusion gehörloser Menschen in die Gesellschaft. Doch bestehende Kommunikationsbarrieren aufgrund begrenzten Wissens über Gebärdensprachen (Sign Language, SL) behindern ihre vollständige Teilhabe erheblich. In diesem Kontext wurden Systeme zur Gebärdenerkennung (Sign Language Recognition, SLR) entwickelt, um die Kommunikation zwischen Gebärdensprachnutzern und Nicht-Gebärdensprachnutzern zu verbessern. Insbesondere stellt die Erkennung isolierter Gebärden (Isolated Sign Language Recognition, ISLR) eine zentrale Herausforderung dar, die von großer Relevanz für die Entwicklung von visionsbasierten Suchsystemen für Gebärdensprachen, Lernwerkzeugen und Übersetzungssystemen ist. In dieser Arbeit wird ein ISLR-Ansatz vorgestellt, bei dem Körper-, Hand- und Gesichtslandmarks im Zeitverlauf extrahiert und als 2-D-Bilder kodiert werden. Diese Bilder werden dann durch ein konvolutionelles neuronales Netzwerk verarbeitet, das die visuell-zeitliche Information in eine Gebärdenbezeichnung abbildet. Experimentelle Ergebnisse zeigen, dass unsere Methode die derzeitigen State-of-the-Art-Methoden hinsichtlich der Leistungsmetriken auf zwei etablierten Datensätzen der brasilianischen Gebärdensprache (LIBRAS), dem zentralen Fokus dieser Studie, übertreffen kann. Zudem ist unser Ansatz nicht nur genauer, sondern auch zeiteffizienter und einfacher zu trainieren, da er auf einer vereinfachten Netzarchitektur und ausschließlich RGB-Daten als Eingabe basiert.