APPRENTISSAGE MULTI-TÂCHES CONSCIENT DE LA TÂCHE POUR LES TÂCHES DE PAROLE À TEXTE

En général, la traduction directe parole-texte (ST) est entraînée conjointement avec les tâches de reconnaissance automatique de la parole (ASR) et de traduction automatique (MT). Toutefois, les stratégies actuelles d'apprentissage conjoint mettent en évidence des limites qui entravent le transfert de connaissances entre ces différentes tâches. Nous proposons un réseau de modulation de tâches, permettant au modèle d’apprendre simultanément des caractéristiques spécifiques à chaque tâche ainsi que des caractéristiques partagées. Cette approche élimine la nécessité d’une étape séparée d’ajustement fin (finetuning), aboutissant à un seul modèle capable de réaliser toutes ces tâches. Ce modèle unique atteint un score BLEU de 28,64 sur la tâche ST MuST-C anglais-allemand, un taux d’erreur de parole (WER) de 11,61 % sur l’ASR TEDLium v3, et un score BLEU de 23,35 sur la tâche MT WMT’15 anglais-allemand. Ces résultats établissent un nouveau record d’état de l’art (SOTA) pour la tâche ST, tout en surpassant les systèmes end-to-end existants en ASR.