Augmentation déterministe réversible pour la traduction automatique par réseaux neuronaux

L’augmentation de données est une méthode efficace pour diversifier les corpos dans la traduction automatique, mais les approches précédentes peuvent introduire une incohérence sémantique entre les données originales et les données augmentées en raison d’opérations irréversibles et de procédures aléatoires de sélection de sous-mots. Afin de générer des données d’augmentation à la fois symboliquement diverses et sémantiquement cohérentes, nous proposons une méthode simple mais efficace d’augmentation de données appelée Détermination Réversible d’Augmentation de Données (DRDA) pour la traduction neuronale automatique. La DRDA utilise des segmentations déterministes et des opérations réversibles afin de générer des représentations de sous-mots à plusieurs granularités, qu’elle rapproche ensuite grâce à des techniques à plusieurs vues. Sans nécessiter de corpus supplémentaires ni de modification du modèle, la DRDA surpasse clairement des baselines performantes sur plusieurs tâches de traduction (avec une amélioration allant jusqu’à 4,3 points BLEU par rapport au Transformer) et montre une bonne robustesse sur des jeux de données bruités, à faible ressource et transversaux.