HyperAIHyperAI

Command Palette

Search for a command to run...

Daten-Diversifizierung: Eine einfache Strategie für neuronale Maschinenübersetzung

Xuan-Phi Nguyen Shafiq Joty Wu Kui Ai Ti Aw

Zusammenfassung

Wir stellen Data Diversification vor: eine einfache, aber effektive Strategie zur Steigerung der Leistung von neuronalen Maschinenübersetzungsmodellen (NMT). Dabei wird der Trainingsdatensatz durch die Nutzung der Vorhersagen mehrerer Vorwärts- und Rückwärtsmodelle diversifiziert und anschließend mit dem ursprünglichen Datensatz kombiniert, auf dem das endgültige NMT-Modell trainiert wird. Unsere Methode ist für alle NMT-Modelle anwendbar und erfordert weder zusätzliche monolinguale Daten wie bei der Back-Translation noch zusätzliche Berechnungen oder Parameter wie bei Modellensembles. Unsere Methode erreicht state-of-the-art BLEU-Scores von 30,7 und 43,7 bei den WMT'14-Aufgaben Englisch-Deutsch und Englisch-Französisch, jeweils. Zudem verbessert sie signifikant acht weitere Übersetzungs-Aufgaben: vier IWSLT-Aufgaben (Englisch-Deutsch und Englisch-Französisch) sowie vier Low-Resource-Übersetzungs-Aufgaben (Englisch-Nepali und Englisch-Sinhala). Wir zeigen, dass unsere Methode effektiver ist als Knowledge Distillation und Dual Learning, eine starke Korrelation zu Modellensembles aufweist und eine günstigere Abwägung zwischen Perplexity und höherem BLEU-Score ermöglicht. Wir haben unseren Quellcode unter https://github.com/nxphi47/data_diversification veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp