Traduction de la langue des signes à partir de vidéos d'instruction

Les progrès réalisés dans la traduction automatique des langues des signes (SLT) vers les langues parlées ont principalement été évalués à l’aide de jeux de données de taille limitée et de domaines restreints. Notre travail améliore l’état de l’art en proposant les premiers résultats de référence sur How2Sign, un jeu de données de grande ampleur et de portée étendue. Nous entraînons un modèle Transformer à partir de caractéristiques vidéo I3D, en utilisant le BLEU réduit comme métrique de validation, plutôt que le score BLEU largement utilisé. Nous rapportons un score BLEU de 8,03, et mettons publiquement à disposition la première implémentation open-source de ce type, afin de favoriser des avancées ultérieures.