Bukva : Alphabet de la Langue des Signes Russe

Ce document examine la reconnaissance de l'alphabet des doigts russes, également connu sous le nom de dactyle du Langage des Signes Russe (LSR). Le dactyle est une composante des langages des signes où des mouvements de main distincts représentent les lettres individuelles d'un langage écrit. Cette méthode est utilisée pour épeler des mots qui n'ont pas de signes spécifiques, tels que les noms propres ou les termes techniques. Le simulateur d'apprentissage de l'alphabet est une application essentielle pour la reconnaissance isolée du dactyle. Un problème notable dans la reconnaissance isolée du dactyle est le manque de données : les ensembles de données existants sur le dactyle russe manquent de diversité parmi les sujets, contiennent un nombre insuffisant d'échantillons ou ne couvrent que des signes statiques. Nous présentons Bukva, le premier ensemble de données vidéo open source complet pour la reconnaissance du dactyle LSR. Il comprend 3 757 vidéos avec plus de 101 échantillons pour chaque lettre de l'alphabet LSR, y compris les signes dynamiques. Nous avons utilisé des plateformes de crowdsourcing pour augmenter la diversité parmi les sujets, ce qui a entraîné la participation de 155 experts sourds et malentendants à la création de l'ensemble de données. Nous utilisons un bloc TSM (Temporal Shift Module) pour traiter efficacement les signes statiques et dynamiques, atteignant une précision top-1 de 83,6 % avec une inférence en temps réel uniquement sur CPU. L'ensemble de données, le code démonstration et les modèles pré-entraînés sont disponibles au public.