Réseau de Graphes à Attention Hiérarchique avec Fenêtres et un Grand Ensemble de Données pour la Reconnaissance d'Indications Indiennes Isolées

La reconnaissance automatique de la langue des signes (LS) est une tâche importante dans la communauté de la vision par ordinateur. Pour construire un système de reconnaissance de LS robuste, il est nécessaire d'avoir une quantité considérable de données, qui font particulièrement défaut pour la langue des signes indienne (ISL). Dans cet article, nous présentons un jeu de données à grande échelle d'ISL isolée et un nouveau modèle de reconnaissance de LS basé sur la structure de graphe squelettique. Le jeu de données couvre 2002 mots couramment utilisés au quotidien dans la communauté sourde, enregistrés par 20 signeurs adultes sourds (10 hommes et 10 femmes) (contient 40033 vidéos). Nous proposons un modèle de reconnaissance de LS appelé Réseau Hiérarchique à Fenêtres avec Attention Graphique (HWGAT), en utilisant le graphe squelettique du corps humain supérieur. Le HWGAT cherche à capturer les mouvements distinctifs en accordant une attention particulière aux différentes parties du corps induites par le graphe squelettique humain. L'utilité du jeu de données proposé et l'efficacité de notre modèle sont évaluées à travers des expériences approfondies. Nous avons pré-entraîné le modèle proposé sur le jeu de données présenté et l'avons affiné sur différents jeux de données de langues des signes, ce qui a amélioré ses performances respectivement de 1,10, 0,46, 0,78 et 6,84 points de pourcentage sur INCLUDE, LSA64, AUTSL et WLASL par rapport aux modèles existants basés sur les points clés.