Reconnaissance des langues des signes sans contrainte de séquence d'images : une preuve de concept sur la langue des signes argentine

La reconnaissance automatique des langues des signes (SLR) est un sujet crucial dans les domaines de l’interaction homme-machine et de l’apprentissage automatique. D’un côté, elle pose un défi complexe exigeant l’intervention de diverses disciplines, telles que le traitement vidéo, le traitement d’images, les systèmes intelligents et la linguistique. De l’autre, une reconnaissance robuste de la langue des signes pourrait faciliter le processus de traduction ainsi que l’intégration des personnes sourdes, tout en aidant à l’enseignement de la langue des signes à la population entendant.Les systèmes de SLR utilisent généralement des modèles tels que les modèles de Markov cachés (HMM), la guerre de temps dynamique (DTW) ou des approches similaires pour reconnaître les signes. Ces techniques exploitent l’ordre séquentiel des cadres afin de réduire le nombre d’hypothèses. Ce papier présente un modèle probabiliste général pour la classification des signes, combinant plusieurs sous-classificateurs fondés sur différents types de caractéristiques, notamment la position, le mouvement et la forme de la main. Le modèle applique une approche « sac de mots » à toutes les étapes de classification, afin d’explorer l’hypothèse selon laquelle l’ordre n’est pas essentiel pour la reconnaissance. Le modèle proposé a atteint un taux de précision de 97 % sur un jeu de données de la langue des signes argentine comprenant 64 classes de signes et 3200 échantillons, fournissant ainsi une preuve empirique que la reconnaissance sans dépendre de l’ordre des éléments est effectivement possible.