AdvAug: Robuste adversarische Augmentierung für maschinelles Übersetzen mit neuronalen Netzen

In diesem Artikel stellen wir eine neue adversarische Augmentierungsmethode für Neural Machine Translation (NMT) vor. Der zentrale Ansatz besteht darin, die vicinale Risiko über virtuelle Sätze zu minimieren, die aus zwei Nachbarschaftsverteilungen stammen, wobei die entscheidende Verteilung eine neuartige Nachbarschaftsverteilung für adversarische Sätze ist, die einen glatten interpolierten Embedding-Raum beschreibt, der sich um die beobachteten Trainings-Satzpaare herum zentriert. Anschließend diskutieren wir unseren Ansatz, AdvAug, zur Trainings von NMT-Modellen unter Verwendung der Embeddings virtueller Sätze im Rahmen von Sequenz-zu-Sequenz-Lernverfahren. Experimente an den Benchmark-Datenmengen Chinesisch-Englisch, Englisch-Französisch und Englisch-Deutsch zeigen, dass AdvAug im Vergleich zum Transformer signifikante Verbesserungen erzielt (bis zu 4,9 BLEU-Punkte) und darüber hinaus andere Daten-Augmentierungstechniken (z. B. Back-Translation) deutlich übertrifft, ohne zusätzliche Korpora zu nutzen.