Préformation de Modèles de Langue Translinguistiques

Des études récentes ont démontré l'efficacité de l'entraînement pré-génératif pour la compréhension du langage naturel en anglais. Dans ce travail, nous étendons cette approche à plusieurs langues et montrons l'efficacité de l'entraînement pré-génératif interlinguistique. Nous proposons deux méthodes pour apprendre des modèles de langage interlinguistiques (XLM) : une méthode non supervisée qui ne repose que sur des données monolingues, et une méthode supervisée qui utilise des données parallèles avec un nouvel objectif de modèle de langage interlinguistique. Nous obtenons des résultats d'état de l'art dans la classification interlinguistique, ainsi que dans la traduction automatique non supervisée et supervisée. Sur XNLI, notre approche améliore l'état de l'art avec un gain absolu de 4,9 % en précision. En traduction automatique non supervisée, nous obtenons un score BLEU de 34,3 sur WMT'16 allemand-anglais, surpassant le précédent état de l'art de plus de 9 points BLEU. En traduction automatique supervisée, nous atteignons un nouveau niveau d'excellence avec un score BLEU de 38,5 sur WMT'16 roumain-anglais, surpassant la meilleure approche précédente de plus de 4 points BLEU. Notre code et nos modèles pré-entraînés seront rendus publiquement disponibles.