Einführung einer lokalen Übersetzungsmechanismus in die nicht-autoregressive Übersetzung

In dieser Arbeit führen wir eine neuartige lokale autoregressive Übersetzungsmechanik (LAT) in nicht-autoregressive Übersetzungsmodelle ein, um lokale Abhängigkeiten zwischen den Zielsequenzen erfassen zu können. Konkret wird für jede Zieldekodierposition anstelle eines einzelnen Tokens eine kurze Sequenz von Tokens autoregressiv vorhergesagt. Wir entwickeln zudem einen effizienten Zusammenführungs-Algorithmus, um die vorläufigen Ausgabestücke korrekt auszurichten und zu einer einzigen Endsequenz zusammenzuführen. Die LAT-Mechanik wird in das bedingte maskierte Sprachmodell (CMLM; Ghazvininejad et al., 2019) integriert, wobei ebenfalls ein iterativer Dekodieransatz verfolgt wird. Empirische Ergebnisse auf fünf Übersetzungs-Aufgaben zeigen, dass unser Ansatz gegenüber CMLM vergleichbare oder bessere Leistung erzielt, jedoch weniger Dekodieriterationen benötigt und damit eine Beschleunigung um das 2,5-Fache ermöglicht. Eine weitere Analyse zeigt, dass unser Verfahren wiederholte Übersetzungen reduziert und insbesondere bei längeren Sätzen eine bessere Leistung erzielt.