Amélioration de la traduction de la langue des signes grâce aux données monolingues par traduction arrière des signes

Malgré les travaux pionniers existants en traduction de la langue des signes (SLT), un obstacle non négligeable demeure : la quantité limitée de données parallèles signe-texte. Pour surmonter ce goulot d’étranglement lié aux données parallèles, nous proposons une méthode de traduction arrière en langue des signes (SignBT), qui intègre de vastes quantités de textes en langage parlé dans l’entraînement de la SLT. À l’aide d’un modèle de traduction texte-en-gloss, nous effectuons d’abord une traduction arrière du texte monolingue vers une séquence de gloss. Ensuite, la séquence signe correspondante est générée en combinant des segments provenant d’une banque estimée de gloss vers signe au niveau des caractéristiques. Enfin, les données parallèles synthétiques ainsi produites servent de complément puissant à l’entraînement end-to-end du cadre SLT encodeur-décodeur.Afin de stimuler la recherche en SLT, nous contribuons également au projet CSL-Daily, un grand ensemble de données continu en SLT. Ce jeu de données fournit à la fois des traductions en langue parlée et des annotations au niveau du gloss. Les sujets traités concernent la vie quotidienne des individus (par exemple, voyages, achats, soins médicaux), scénarios d’application les plus probables pour la SLT. Des résultats expérimentaux étendus et une analyse approfondie des méthodes de SLT sont rapportés sur CSL-Daily. Grâce à la méthode de traduction arrière en langue des signes proposée, nous obtenons une amélioration significative par rapport aux méthodes les plus avancées précédemment publiées en SLT.