HyperAIHyperAI

Command Palette

Search for a command to run...

AdvAug : Une augmentation adversaire robuste pour la traduction automatique par réseaux neuronaux

Yong Cheng Lu Jiang Wolfgang Macherey Jacob Eisenstein

Résumé

Dans cet article, nous proposons une nouvelle méthode d’augmentation adversaire pour la traduction automatique neurale (NMT). L'idée principale consiste à minimiser le risque vicinal sur des phrases virtuelles échantillonnées à partir de deux distributions locales, dont l'une est une nouvelle distribution locale dédiée aux phrases adverses, caractérisée par un espace d’embeddings lisse interpolé centré autour des paires de phrases d’entraînement observées. Nous présentons ensuite notre approche, appelée AdvAug, pour entraîner des modèles NMT en utilisant les embeddings des phrases virtuelles dans un cadre d’apprentissage séquence-à-séquence. Des expériences menées sur des benchmarks de traduction chinois-anglais, anglais-français et anglais-allemand montrent que AdvAug permet d’obtenir des améliorations significatives par rapport au modèle Transformer (jusqu’à 4,9 points BLEU), tout en surpassant substantiellement d’autres techniques d’augmentation de données (comme la traduction réciproque) sans nécessiter de corpus supplémentaires.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
AdvAug : Une augmentation adversaire robuste pour la traduction automatique par réseaux neuronaux | Articles | HyperAI