Traduction améliorée de la langue des signes avec STMC-Transformer

La traduction de la langue des signes (SLT) commence par un système de reconnaissance de la langue des signes (SLR) qui extrait des glosses de langue des signes à partir de vidéos. Ensuite, un système de traduction génère des traductions en langue parlée à partir de ces glosses. Ce papier se concentre sur le système de traduction et présente le STMC-Transformer, qui améliore l’état de l’art actuel de plus de 5 et 7 points BLEU respectivement pour la traduction glosses → texte et vidéo → texte sur le jeu de données PHOENIX-Weather 2014T. Sur le corpus ASLG-PC12, nous rapportons une amélioration supérieure à 16 points BLEU.Nous mettons également en évidence un problème inhérent aux méthodes actuelles qui reposent sur une supervision par glosses. La traduction vidéo → texte réalisée par notre STMC-Transformer dépasse même celle obtenue à partir des glosses de référence (GT). Ce résultat contredit les affirmations antérieures selon lesquelles la traduction des glosses de référence constitue une borne supérieure pour la performance de la SLT, et révèle que les glosses représentent une représentation inefficace de la langue des signes. À l’avenir, nous suggérons donc d’adopter une formation end-to-end des modèles de reconnaissance et de traduction, ou d’utiliser un schéma d’annotation différent pour la langue des signes.