Daten-Diversifizierung: Eine einfache Strategie für neuronale Maschinenübersetzung

Wir stellen Data Diversification vor: eine einfache, aber effektive Strategie zur Steigerung der Leistung von neuronalen Maschinenübersetzungsmodellen (NMT). Dabei wird der Trainingsdatensatz durch die Nutzung der Vorhersagen mehrerer Vorwärts- und Rückwärtsmodelle diversifiziert und anschließend mit dem ursprünglichen Datensatz kombiniert, auf dem das endgültige NMT-Modell trainiert wird. Unsere Methode ist für alle NMT-Modelle anwendbar und erfordert weder zusätzliche monolinguale Daten wie bei der Back-Translation noch zusätzliche Berechnungen oder Parameter wie bei Modellensembles. Unsere Methode erreicht state-of-the-art BLEU-Scores von 30,7 und 43,7 bei den WMT'14-Aufgaben Englisch-Deutsch und Englisch-Französisch, jeweils. Zudem verbessert sie signifikant acht weitere Übersetzungs-Aufgaben: vier IWSLT-Aufgaben (Englisch-Deutsch und Englisch-Französisch) sowie vier Low-Resource-Übersetzungs-Aufgaben (Englisch-Nepali und Englisch-Sinhala). Wir zeigen, dass unsere Methode effektiver ist als Knowledge Distillation und Dual Learning, eine starke Korrelation zu Modellensembles aufweist und eine günstigere Abwägung zwischen Perplexity und höherem BLEU-Score ermöglicht. Wir haben unseren Quellcode unter https://github.com/nxphi47/data_diversification veröffentlicht.