HyperAIHyperAI

Command Palette

Search for a command to run...

Réseau de Graphes à Attention Hiérarchique avec Fenêtres et un Grand Ensemble de Données pour la Reconnaissance d'Indications Indiennes Isolées

Patra Suvajit ; Maitra Arkadip ; Tiwari Megha ; Kumaran K. ; Prabhu Swathy ; Punyeshwarananda Swami ; Samanta Soumitra

Résumé

La reconnaissance automatique de la langue des signes (LS) est une tâche importante dans la communauté de la vision par ordinateur. Pour construire un système de reconnaissance de LS robuste, il est nécessaire d'avoir une quantité considérable de données, qui font particulièrement défaut pour la langue des signes indienne (ISL). Dans cet article, nous présentons un jeu de données à grande échelle d'ISL isolée et un nouveau modèle de reconnaissance de LS basé sur la structure de graphe squelettique. Le jeu de données couvre 2002 mots couramment utilisés au quotidien dans la communauté sourde, enregistrés par 20 signeurs adultes sourds (10 hommes et 10 femmes) (contient 40033 vidéos). Nous proposons un modèle de reconnaissance de LS appelé Réseau Hiérarchique à Fenêtres avec Attention Graphique (HWGAT), en utilisant le graphe squelettique du corps humain supérieur. Le HWGAT cherche à capturer les mouvements distinctifs en accordant une attention particulière aux différentes parties du corps induites par le graphe squelettique humain. L'utilité du jeu de données proposé et l'efficacité de notre modèle sont évaluées à travers des expériences approfondies. Nous avons pré-entraîné le modèle proposé sur le jeu de données présenté et l'avons affiné sur différents jeux de données de langues des signes, ce qui a amélioré ses performances respectivement de 1,10, 0,46, 0,78 et 6,84 points de pourcentage sur INCLUDE, LSA64, AUTSL et WLASL par rapport aux modèles existants basés sur les points clés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp