Apprentissage par transfert interlangues utilisant des informations visuelles pour la reconnaissance automatique des gestes signés

La reconnaissance automatique des gestes signés (GR) joue un rôle fondamental dans la facilitation de la communication entre les personnes sourdes et le reste de la société. Toutefois, la reconnaissance précise et efficace des gestes signés reste un défi majeur en raison de la diversité des langues des signes (LS) et du faible volume de données étiquetées disponibles. Ce travail scientifique propose une nouvelle approche visant à améliorer l’exactitude de la reconnaissance automatique des gestes signés grâce à l’apprentissage par transfert interlangues basé sur des informations visuelles. Deux grands corpus multimodaux de langues des signes sont utilisés comme langues de base dans cette étude : le dataset turc de la langue des signes d’Ankara (AUTSL) et le Thesaurus de la langue des signes russe (TheRusLan). Des études expérimentales ont été menées, aboutissant à une précision de 93,33 % pour 18 gestes différents, y compris les gestes cibles de la langue des signes russe. Ce résultat dépasse de 2,19 % la précision précédemment atteinte par l’état de l’art, démontrant ainsi l’efficacité de l’approche proposée. L’étude met en évidence le potentiel de cette méthode à améliorer l’exactitude et la robustesse de la traduction automatique des langues des signes, à renforcer la naturalité des interactions homme-machine, et à faciliter l’adaptation sociale des personnes sourdes. Ce papier ouvre une voie prometteuse pour des recherches futures, notamment l’application de l’approche proposée à d’autres langues des signes, ainsi que l’étude de l’impact des différences individuelles et culturelles sur la reconnaissance des gestes signés.