Bi-SimCut: Eine einfache Strategie zur Steigerung der Leistung von Neural Machine Translation

Wir stellen Bi-SimCut vor: eine einfache, aber wirksame Trainingsstrategie zur Steigerung der Leistung von neuronalen Maschinenübersetzungsmodellen (NMT). Sie besteht aus zwei Schritten: bidirektionaler Vortrainierung und einseitiger Feinabstimmung. Beide Schritte nutzen SimCut, eine einfache Regularisierungsmethode, die die Konsistenz zwischen den Ausgabeverteilungen der ursprünglichen Sätze und der entsprechenden abgeschnittenen Satzpaare erzwingt. Ohne zusätzliche Datensätze durch Back-Translation zu nutzen oder große vortrainierte Modelle zu integrieren, erreicht Bi-SimCut starke Übersetzungsleistungen auf fünf verschiedenen Übersetzungsbenchmarks (Datengrößen reichen von 160 K bis 20,2 M): BLEU-Scores von 31,16 für en→de und 38,37 für de→en auf dem IWSLT14-Datensatz, 30,78 für en→de und 35,15 für de→en auf dem WMT14-Datensatz sowie 27,17 für zh→en auf dem WMT17-Datensatz. SimCut ist keine neue Methode, sondern eine vereinfachte und an NMT angepasste Variante des Cutoff-Ansatzes (Shen et al., 2020) und kann als perturbationsbasierte Methode betrachtet werden. Aufgrund der Allgemeingültigkeit und Einfachheit von SimCut und Bi-SimCut sind wir überzeugt, dass sie als starke Baselines für zukünftige NMT-Forschung dienen können.