Un cadre contrastif au niveau des tokens pour la traduction de la langue des signes

La traduction de la langue des signes (SLT) est une technologie prometteuse pour combler le fossé de communication entre les personnes sourdes et les personnes entendantes. Récemment, les chercheurs ont adopté des méthodes de traduction automatique par réseaux neuronaux (NMT), qui nécessitent généralement de grandes corpora d’entraînement, afin de réaliser la SLT. Toutefois, les corpora publics disponibles pour la SLT sont très limités, ce qui entraîne une dégradation des représentations de tokens et une inexactitude des tokens générés. Pour atténuer ce problème, nous proposons ConSLT, un nouveau cadre d’apprentissage contrastif au niveau des tokens pour la traduction de la langue des signes, qui apprend des représentations de tokens efficaces en intégrant l’apprentissage contrastif au niveau des tokens dans le processus de décodage de la SLT. Plus précisément, ConSLT considère chaque token et son homologue généré par des masques de dropout différents comme une paire positive pendant le décodage, puis sélectionne aléatoirement $K$ tokens dans le vocabulaire qui ne figurent pas dans la phrase courante pour former des exemples négatifs. Nous menons des expériences approfondies sur deux benchmarks (PHOENIX14T et CSL-Daily) dans les deux configurations end-to-end et en cascade. Les résultats expérimentaux démontrent que ConSLT permet d’obtenir une qualité de traduction supérieure aux modèles de référence performants.