Bukva: Russisches Gebärdewortalphabet

Dieses Papier untersucht die Erkennung des russischen Fingeralphabets, auch bekannt als das dactyl der Russischen Gebärdensprache (RGL). Dactyl ist ein Bestandteil von Gebärdensprachen, bei dem unterschiedliche Handbewegungen für einzelne Buchstaben einer Schriftsprache stehen. Diese Methode wird verwendet, um Wörter ohne spezifische Gebärden zu buchstabieren, wie zum Beispiel Eigennamen oder technische Begriffe. Der Alphabetsimulator ist eine wichtige Anwendung zur Erkennung isolierter Dactyl-Zeichen. Ein bemerkenswertes Problem bei der Erkennung isolierter Dactyl-Zeichen ist der Mangel an Daten: bestehende russische Dactyl-Datensätze fehlen an Subjektheterogenität, enthalten unzureichend viele Beispiele oder decken nur statische Zeichen ab. Wir stellen „Bukva“ vor, den ersten vollständigen Open-Source-Videodatensatz für die Dactyl-Erkennung in der Russischen Gebärdensprache (RGL). Er enthält 3.757 Videos mit mehr als 101 Beispielen für jedes Zeichen des RGL-Alphabets, einschließlich dynamischer Zeichen. Wir nutzten Crowdsourcing-Plattformen, um die Subjektheterogenität zu erhöhen, was zur Beteiligung von 155 taub und schwerhörigen Experten an der Datensatz-Erstellung führte. Um statische und dynamische Zeichen effektiv zu verarbeiten, verwenden wir einen TSM-Block (Temporal Shift Module), wodurch eine Top-1-Akkuratesse von 83,6 % erreicht wird, wobei die Inferenz in Echtzeit ausschließlich mit CPU erfolgt. Der Datensatz, das Democode und die vortrainierten Modelle sind öffentlich verfügbar.