Transformers pré-entraînés figés pour la traduction neurale des langues des signes

L’un des principaux défis dans la traduction de la langue des signes vers une langue parlée réside dans le manque de corpus parallèles. Des travaux récents ont obtenu des résultats prometteurs sur le jeu de données RWTH-PHOENIX-Weather 2014T, qui comprend plus de huit mille phrases parallèles entre la langue des signes allemande et l’allemand. Toutefois, du point de vue de la traduction automatique neuronale, cet ensemble de données reste très réduit. Pour améliorer les performances des modèles entraînés sur de petits jeux de données, l’apprentissage transféré peut être utilisé. Bien que cette approche ait déjà été appliquée précédemment dans le domaine de la traduction de la langue des signes pour l’extraction de caractéristiques, à notre connaissance, les modèles linguistiques préentraînés n’ont pas encore été explorés dans ce contexte. Nous utilisons des modèles préentraînés BERT-base et mBART-50 pour initialiser notre modèle de traduction vidéo de langue des signes vers texte en langue parlée. Pour atténuer le surajustement, nous appliquons la technique du transformateur préentraîné gelé : nous figeons la majorité des paramètres pendant l’entraînement. En utilisant un modèle BERT préentraîné, nous surpassons de 1 à 2 points le score BLEU-4 par rapport à une base entraînée à partir de zéro. Nos résultats montrent que les modèles linguistiques préentraînés peuvent effectivement améliorer la performance de la traduction de la langue des signes, et que les motifs d’attention auto-associative présents dans BERT se transfèrent de manière zéro-shot vers l’encodeur et le décodeur des modèles de traduction de la langue des signes.