Diversification des données : une stratégie simple pour la traduction automatique neurale

Nous introduisons la diversification des données : une stratégie simple mais efficace pour améliorer les performances de la traduction automatique par réseaux neuronaux (NMT). Cette méthode diversifie les données d'entraînement en exploitant les prédictions de plusieurs modèles directs et inverses, puis en combinant ces données avec le jeu de données original utilisé pour entraîner le modèle NMT final. Notre approche est applicable à tous les modèles NMT, sans nécessiter de données monolingues supplémentaires comme dans la back-translation, ni ajouter de calculs ou de paramètres supplémentaires, contrairement aux ensembles de modèles. Elle atteint des scores BLEU de pointe, respectivement de 30,7 et 43,7, sur les tâches de traduction anglais-allemand et anglais-français du WMT'14. Elle améliore également de manière significative huit autres tâches de traduction : quatre tâches IWSLT (anglais-allemand et anglais-français) et quatre tâches à faibles ressources (anglais-népalais et anglais-sinhala). Nous démontrons que notre méthode est plus efficace que la distillation de connaissances et l'apprentissage dual, qu'elle présente une forte corrélation avec les ensembles de modèles, et qu'elle permet de réduire la perplexité au profit d'un meilleur score BLEU. Nous avons mis à disposition notre code source à l'adresse suivante : https://github.com/nxphi47/data_diversification