Slovo: Dataset der Russischen Gebärdensprache

Eine der zentralen Herausforderungen bei der Signspracherkennung liegt in der Schwierigkeit, geeignete Datensätze aufgrund der Kluft zwischen hörgeschädigten und hörenden Gesellschaften zu sammeln. Zudem unterscheidet sich die Signsprache in jedem Land erheblich, was die Erstellung neuer Datensätze für jedes Land erfordert. In diesem Artikel wird das russische Gebärdensprachvideo-Datenset „Slovo“ vorgestellt, das mithilfe von Crowdsourcing-Plattformen erstellt wurde. Das Datenset umfasst 20.000 FullHD-Aufnahmen, die in 1.000 Klassen isolierter russischer Gebärdengesten aufgeteilt sind und von 194 Gebärdensprechern erfasst wurden. Wir präsentieren zudem die vollständige Erstellungspipeline des Datensets – von der Datensammlung bis zur Video-Annotation – inklusive einer Demonstrationsanwendung. Mehrere neuronale Netze wurden auf dem Slovo-Datenset trainiert und evaluiert, um dessen didaktische Eignung zu demonstrieren. Die vorgeschlagenen Daten und vortrainierten Modelle sind öffentlich zugänglich.