AdvAug : Une augmentation adversaire robuste pour la traduction automatique par réseaux neuronaux

Dans cet article, nous proposons une nouvelle méthode d’augmentation adversaire pour la traduction automatique neurale (NMT). L'idée principale consiste à minimiser le risque vicinal sur des phrases virtuelles échantillonnées à partir de deux distributions locales, dont l'une est une nouvelle distribution locale dédiée aux phrases adverses, caractérisée par un espace d’embeddings lisse interpolé centré autour des paires de phrases d’entraînement observées. Nous présentons ensuite notre approche, appelée AdvAug, pour entraîner des modèles NMT en utilisant les embeddings des phrases virtuelles dans un cadre d’apprentissage séquence-à-séquence. Des expériences menées sur des benchmarks de traduction chinois-anglais, anglais-français et anglais-allemand montrent que AdvAug permet d’obtenir des améliorations significatives par rapport au modèle Transformer (jusqu’à 4,9 points BLEU), tout en surpassant substantiellement d’autres techniques d’augmentation de données (comme la traduction réciproque) sans nécessiter de corpus supplémentaires.