HyperAIHyperAI

Command Palette

Search for a command to run...

Levenshtein-Transformer

Jiatao Gu; Changhan Wang; Jake Zhao

Zusammenfassung

Moderne neuronale Sequenzgenerierungsmodelle sind entweder zum schrittweisen Erzeugen von Token aus der Grundlage oder zur (iterativen) Modifikation einer Token-Sequenz innerhalb einer festen Länge konzipiert. In dieser Arbeit entwickeln wir den Levenshtein-Transformer, ein neues teilweise autoregressives Modell, das für eine flexiblere und zugänglichere Sequenzgenerierung ausgelegt ist. Im Gegensatz zu früheren Ansätzen sind die atomaren Operationen unseres Modells Einfügung und Löschung. Ihre Kombination ermöglicht nicht nur die Generierung, sondern auch die Verfeinerung von Sequenzen, wobei dynamische Längenänderungen erlaubt sind. Wir schlagen zudem eine Reihe neuer Trainingsmethoden vor, die auf diese Operationen abgestimmt sind und dank ihrer komplementären Natur effektiv als Lernsignale füreinander genutzt werden können. Experimente mit dem vorgeschlagenen Modell erzielen vergleichbare Leistungen, aber deutlich verbesserte Effizienz sowohl bei Generierungsaufgaben (z.B. maschinelle Übersetzung, Textzusammenfassung) als auch bei Verfeinerungsaufgaben (z.B. automatische Nachbearbeitung). Wir bestätigen zudem die Flexibilität unseres Modells durch die Demonstration, dass ein Levenshtein-Transformer, der für maschinelle Übersetzung trainiert wurde, problemlos für automatische Nachbearbeitung eingesetzt werden kann.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Levenshtein-Transformer | Paper | HyperAI