HyperAIHyperAI

Command Palette

Search for a command to run...

Bi-SimCut: Eine einfache Strategie zur Steigerung der Leistung von Neural Machine Translation

Pengzhi Gao Zhongjun He Hua Wu Haifeng Wang

Zusammenfassung

Wir stellen Bi-SimCut vor: eine einfache, aber wirksame Trainingsstrategie zur Steigerung der Leistung von neuronalen Maschinenübersetzungsmodellen (NMT). Sie besteht aus zwei Schritten: bidirektionaler Vortrainierung und einseitiger Feinabstimmung. Beide Schritte nutzen SimCut, eine einfache Regularisierungsmethode, die die Konsistenz zwischen den Ausgabeverteilungen der ursprünglichen Sätze und der entsprechenden abgeschnittenen Satzpaare erzwingt. Ohne zusätzliche Datensätze durch Back-Translation zu nutzen oder große vortrainierte Modelle zu integrieren, erreicht Bi-SimCut starke Übersetzungsleistungen auf fünf verschiedenen Übersetzungsbenchmarks (Datengrößen reichen von 160 K bis 20,2 M): BLEU-Scores von 31,16 für en→de und 38,37 für de→en auf dem IWSLT14-Datensatz, 30,78 für en→de und 35,15 für de→en auf dem WMT14-Datensatz sowie 27,17 für zh→en auf dem WMT17-Datensatz. SimCut ist keine neue Methode, sondern eine vereinfachte und an NMT angepasste Variante des Cutoff-Ansatzes (Shen et al., 2020) und kann als perturbationsbasierte Methode betrachtet werden. Aufgrund der Allgemeingültigkeit und Einfachheit von SimCut und Bi-SimCut sind wir überzeugt, dass sie als starke Baselines für zukünftige NMT-Forschung dienen können.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Bi-SimCut: Eine einfache Strategie zur Steigerung der Leistung von Neural Machine Translation | Paper | HyperAI