Amélioration de la reconnaissance de la langue des signes brésilienne grâce à la représentation par images squelettiques

La communication efficace est essentielle à l’inclusion des personnes sourdes dans la société. Toutefois, les barrières persistantes liées à une connaissance limitée des Langues des Signes (LS) entravent leur pleine participation. Dans ce contexte, des systèmes de reconnaissance de la langue des signes (RLS) ont été développés afin d’améliorer la communication entre les signants et les non-signants. En particulier, un défi majeur réside dans la reconnaissance de signes isolés (Reconnaissance de Signes Isolés, RSI), un enjeu crucial pour le développement de moteurs de recherche basés sur la vision, d’outils d’apprentissage et de systèmes de traduction. Ce travail propose une approche de RSI où les points de repère corporels, manuels et faciaux sont extraits au fil du temps et encodés sous forme d’images 2D. Ces images sont ensuite traitées par un réseau neuronal convolutif, qui transforme l’information visuelle-temporelle en une étiquette de signe. Les résultats expérimentaux démontrent que notre méthode surpasser les états de l’art en termes de performances sur deux bases de données largement reconnues de la Langue des Signes Brésilienne (LIBRAS), l’objectif principal de cette étude. En outre, par rapport aux approches existantes, notre méthode est non seulement plus précise, mais aussi plus efficace en temps et plus facile à entraîner, grâce à une architecture de réseau simplifiée et à une entrée exclusivement constituée de données RGB.