Reconnaissance de la forme de main pour la langue des signes argentine à l’aide de ProbSom

La reconnaissance automatique de la langue des signes est un sujet important dans les domaines de l’interaction homme-machine et de l’apprentissage automatique. D’un côté, elle pose un défi complexe nécessitant l’intervention de diverses disciplines, telles que le traitement vidéo, le traitement d’images, les systèmes intelligents et la linguistique. De l’autre, une reconnaissance robuste de la langue des signes pourrait faciliter le processus de traduction et promouvoir l’intégration des personnes sourdes.Ce travail présente deux contributions principales : premièrement, la création d’une base de données de formes de mains pour la langue des signes argentine (LSA), un sujet qui a été largement négligé jusqu’à présent. Deuxièmement, une technique de traitement d’image, d’extraction de descripteurs et de classification ultérieure des formes de mains basée sur une adaptation supervisée des cartes auto-organisatrices, appelée ProbSom. Cette méthode est comparée à d’autres approches de pointe, telles que les Machines à Vecteurs de Support (SVM), les Forêts Aléatoires et les Réseaux de Neurones.La base de données construite comprend 800 images représentant 16 formes de mains de la LSA, constituant ainsi une première étape vers la constitution d’une base de données complète des signes argentins. Le classificateur neuronal basé sur ProbSom, en utilisant le descripteur proposé, a atteint un taux de précision supérieur à 90 %.