Die Einreichung von Facebook FAIR für die WMT19 News Translation Task

Dieses Papier beschreibt die Einreichung von Facebook FAIR für die gemeinsame Übersetzungsaufgabe im Rahmen der WMT19 (Shared News Translation Task). Wir nehmen an zwei Sprachpaaren und vier Übersetzungsrichtungen teil: Englisch <-> Deutsch und Englisch <-> Russisch. Im Anschluss an unsere Einreichung des letzten Jahres basieren unsere Baseline-Systeme auf großen BPE-basierten Transformer-Modellen, die mit dem Fairseq-Sequenzmodellierungstoolkit trainiert wurden und auf sampelten Rückübersetzungen (back-translations) aufbauen. In diesem Jahr experimentieren wir mit verschiedenen Bitext-Datenfilterverfahren sowie mit dem Hinzufügen gefilterter Rückübersetzungsdaten. Zudem kombinieren und feinjustieren wir unsere Modelle an domänenspezifischen Daten, um anschließend die Dekodierung unter Verwendung eines noisy channel Modells zur Neubewertung durchzuführen. Unsere Einreichungen erreichen den ersten Platz in allen vier Richtungen der menschlichen Evaluierungskampagne. Bei der Übersetzung von Englisch nach Deutsch übertrifft unser System nicht nur andere Systeme, sondern auch menschliche Übersetzungen erheblich. Dieses System verbessert sich gegenüber unserer WMT18-Einreichung um 4,5 BLEU-Punkte.