Adaptation légère pour la traduction automatique multilingue de parole

Les modules d’adaptation ont récemment été introduits comme une alternative efficace au fine-tuning dans le domaine du traitement du langage naturel (NLP). Le tuning par adaptateurs consiste à figer les paramètres préentraînés d’un modèle et à insérer des modules légers entre ses couches, ce qui n’entraîne l’ajout que d’un petit nombre de paramètres entraînables spécifiques à la tâche. Bien que le tuning par adaptateurs ait déjà été étudié pour la traduction automatique multilingue du texte, ce papier propose une analyse approfondie de leur utilisation dans le cadre de la traduction vocale multilingue (ST). À partir de différents modèles préentraînés — soit un modèle de ST multilingue entraîné sur des données parallèles, soit un modèle mBART multilingue entraîné sur des données multilingues non parallèles —, nous démontrons que les adaptateurs peuvent être utilisés pour : (a) spécialiser efficacement la ST pour des paires de langues spécifiques, avec un coût supplémentaire minimal en termes de paramètres, et (b) transférer des connaissances d’une tâche de reconnaissance automatique de parole (ASR) et d’un modèle mBART préentraîné vers une tâche de ST multilingue. Les expériences montrent que le tuning par adaptateurs obtient des résultats compétitifs par rapport au fine-tuning complet, tout en étant bien plus efficace en termes de paramètres.