HyperAIHyperAI

Command Palette

Search for a command to run...

Einführung einer lokalen Übersetzungsmechanismus in die nicht-autoregressive Übersetzung

Xiang Kong Zhisong Zhang Eduard Hovy

Zusammenfassung

In dieser Arbeit führen wir eine neuartige lokale autoregressive Übersetzungsmechanik (LAT) in nicht-autoregressive Übersetzungsmodelle ein, um lokale Abhängigkeiten zwischen den Zielsequenzen erfassen zu können. Konkret wird für jede Zieldekodierposition anstelle eines einzelnen Tokens eine kurze Sequenz von Tokens autoregressiv vorhergesagt. Wir entwickeln zudem einen effizienten Zusammenführungs-Algorithmus, um die vorläufigen Ausgabestücke korrekt auszurichten und zu einer einzigen Endsequenz zusammenzuführen. Die LAT-Mechanik wird in das bedingte maskierte Sprachmodell (CMLM; Ghazvininejad et al., 2019) integriert, wobei ebenfalls ein iterativer Dekodieransatz verfolgt wird. Empirische Ergebnisse auf fünf Übersetzungs-Aufgaben zeigen, dass unser Ansatz gegenüber CMLM vergleichbare oder bessere Leistung erzielt, jedoch weniger Dekodieriterationen benötigt und damit eine Beschleunigung um das 2,5-Fache ermöglicht. Eine weitere Analyse zeigt, dass unser Verfahren wiederholte Übersetzungen reduziert und insbesondere bei längeren Sätzen eine bessere Leistung erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp