Intégration d’un Modèle Linguistique Pré-entraîné dans la Traduction Automatique Neurale

La traduction automatique neurale (NMT) est devenue une technologie majeure dans le domaine du traitement du langage naturel grâce à des recherches et développements intensifs. Toutefois, le manque de données de paires de langues bilingues de haute qualité constitue encore un défi majeur pour améliorer les performances de la NMT. Des études récentes ont exploré l’utilisation d’informations contextuelles provenant de modèles de langage pré-entraînés (PLM) afin de relever ce défi. Néanmoins, le problème d’incompatibilité entre les modèles PLM et NMT reste non résolu. Cette étude propose un modèle de NMT intégrant un PLM, appelé PiNMT, afin de surmonter ces limitations. Le modèle PiNMT se compose de trois composants essentiels : le convertisseur à plusieurs couches PLM, la fusion d’embeddings et l’alignement cosinus, chacun jouant un rôle fondamental dans l’apport efficace d’informations provenant du PLM au modèle NMT. En outre, deux stratégies d’entraînement sont introduites dans cet article : l’apprentissage avec taux d’apprentissage séparés et l’entraînement en deux étapes. En mettant en œuvre le modèle PiNMT proposé ainsi que la stratégie d’entraînement associée, nous obtenons des performances de pointe sur le jeu de données IWSLT’14 En↔De. Les résultats de cette étude sont remarquables, car ils démontrent une nouvelle approche efficace pour intégrer un PLM dans un cadre de NMT, surmonter les incompatibilités et améliorer significativement les performances.