FlowSeq: Nicht-autoregressive bedingte Sequenzgenerierung mit generativem Fluss

Die meisten sequenz-zu-Sequenz-(seq2seq)-Modelle sind autoregressiv; sie generieren jedes Token unter Berücksichtigung bereits generierter Tokens. Im Gegensatz dazu generieren nicht-autoregressive seq2seq-Modelle alle Tokens in einem einzigen Durchlauf, was aufgrund der parallelen Verarbeitung auf Hardware wie GPUs zu einer erhöhten Effizienz führt. Die direkte Modellierung der gemeinsamen Verteilung aller Tokens gleichzeitig ist jedoch herausfordernd, und selbst bei zunehmend komplexen Modellstrukturen bleibt die Genauigkeit signifikant hinter den autoregressiven Modellen zurück. In diesem Paper stellen wir ein einfaches, effizientes und wirksames Modell für die nicht-autoregressive Sequenzgenerierung mittels latenter Variablenmodelle vor. Insbesondere greifen wir auf generative Flows zurück, eine elegante Technik zur Modellierung komplexer Verteilungen mittels neuronalen Netzen, und entwerfen mehrere Schichten von Flows, die speziell auf die Modellierung der bedingten Dichte sequenzieller latenter Variablen abgestimmt sind. Wir evaluieren das Modell an drei Standard-Datenbanken für neuronale Maschinenübersetzung (NMT) und erreichen eine Leistung, die mit den aktuell besten nicht-autoregressiven NMT-Modellen vergleichbar ist, sowie eine fast konstante Dekodierzeit unabhängig von der Sequenzlänge.