HyperAIHyperAI

Command Palette

Search for a command to run...

FlowSeq: Nicht-autoregressive bedingte Sequenzgenerierung mit generativem Fluss

Xuezhe Ma Chunting Zhou Xian Li Graham Neubig Eduard Hovy

Zusammenfassung

Die meisten sequenz-zu-Sequenz-(seq2seq)-Modelle sind autoregressiv; sie generieren jedes Token unter Berücksichtigung bereits generierter Tokens. Im Gegensatz dazu generieren nicht-autoregressive seq2seq-Modelle alle Tokens in einem einzigen Durchlauf, was aufgrund der parallelen Verarbeitung auf Hardware wie GPUs zu einer erhöhten Effizienz führt. Die direkte Modellierung der gemeinsamen Verteilung aller Tokens gleichzeitig ist jedoch herausfordernd, und selbst bei zunehmend komplexen Modellstrukturen bleibt die Genauigkeit signifikant hinter den autoregressiven Modellen zurück. In diesem Paper stellen wir ein einfaches, effizientes und wirksames Modell für die nicht-autoregressive Sequenzgenerierung mittels latenter Variablenmodelle vor. Insbesondere greifen wir auf generative Flows zurück, eine elegante Technik zur Modellierung komplexer Verteilungen mittels neuronalen Netzen, und entwerfen mehrere Schichten von Flows, die speziell auf die Modellierung der bedingten Dichte sequenzieller latenter Variablen abgestimmt sind. Wir evaluieren das Modell an drei Standard-Datenbanken für neuronale Maschinenübersetzung (NMT) und erreichen eine Leistung, die mit den aktuell besten nicht-autoregressiven NMT-Modellen vergleichbar ist, sowie eine fast konstante Dekodierzeit unabhängig von der Sequenzlänge.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp