HyperAIHyperAI

Command Palette

Search for a command to run...

Verbesserung von Neuronalen Maschinellen Übersetzungsmodellen durch mono-linguale Daten

Rico Sennrich Barry Haddow Alexandra Birch

Zusammenfassung

Die neurale maschinelle Übersetzung (NMT) hat für mehrere Sprachpaare den Stand der Technik erreicht, wobei nur parallele Daten für das Training verwendet wurden. Monolinguale Zieldatensätze spielen eine wichtige Rolle bei der Verbesserung der Flüssigkeit im phrasenbasierten statistischen Maschinellen Übersetzen, und wir untersuchen die Nutzung von monolingualen Daten für die NMT. Im Gegensatz zu früheren Arbeiten, die NMT-Modelle mit getrennt trainierten Sprachmodellen kombinieren, bemerken wir, dass die Encoder-Decoder-Architekturen der NMT bereits die Kapazität besitzen, dieselben Informationen wie ein Sprachmodell zu lernen. Wir erforschen Strategien, um mit monolingualen Daten zu trainieren, ohne die neuronale Netzwerkarchitektur zu ändern. Durch das Paaren von monolingualen Trainingsdaten mit einer automatischen Rückübersetzung können wir diese als zusätzliche parallele Trainingsdaten behandeln und erzielen erhebliche Verbesserungen bei der WMT 15 Aufgabe Englisch<->Deutsch (+2,8-3,7 BLEU). Für die ressourcenarme IWSLT 14 Aufgabe Türkisch->Englisch (+2,1-3,4 BLEU) erhalten wir neue Stand-der-Techik-Ergebnisse. Wir zeigen auch, dass das Feinjustieren auf in-domänen monolingualen und parallelen Daten erhebliche Verbesserungen für die IWSLT 15 Aufgabe Englisch->Deutsch bringt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp