Verbesserung von Neuronalen Maschinellen Übersetzungsmodellen durch mono-linguale Daten

Die neurale maschinelle Übersetzung (NMT) hat für mehrere Sprachpaare den Stand der Technik erreicht, wobei nur parallele Daten für das Training verwendet wurden. Monolinguale Zieldatensätze spielen eine wichtige Rolle bei der Verbesserung der Flüssigkeit im phrasenbasierten statistischen Maschinellen Übersetzen, und wir untersuchen die Nutzung von monolingualen Daten für die NMT. Im Gegensatz zu früheren Arbeiten, die NMT-Modelle mit getrennt trainierten Sprachmodellen kombinieren, bemerken wir, dass die Encoder-Decoder-Architekturen der NMT bereits die Kapazität besitzen, dieselben Informationen wie ein Sprachmodell zu lernen. Wir erforschen Strategien, um mit monolingualen Daten zu trainieren, ohne die neuronale Netzwerkarchitektur zu ändern. Durch das Paaren von monolingualen Trainingsdaten mit einer automatischen Rückübersetzung können wir diese als zusätzliche parallele Trainingsdaten behandeln und erzielen erhebliche Verbesserungen bei der WMT 15 Aufgabe Englisch<->Deutsch (+2,8-3,7 BLEU). Für die ressourcenarme IWSLT 14 Aufgabe Türkisch->Englisch (+2,1-3,4 BLEU) erhalten wir neue Stand-der-Techik-Ergebnisse. Wir zeigen auch, dass das Feinjustieren auf in-domänen monolingualen und parallelen Daten erhebliche Verbesserungen für die IWSLT 15 Aufgabe Englisch->Deutsch bringt.