Deterministische nicht-autoregressive neuronale Sequenzmodellierung durch iteratives Verfeinern

Wir schlagen ein bedingtes nicht-sequenzales neuronales Sequenzmodell vor, das auf iterativer Verfeinerung basiert. Das vorgeschlagene Modell wurde nach den Prinzipien von latente Variablenmodelle und Denoising-Autoencoder (Entstör-Autoencoder) konzipiert und ist allgemein für jede Sequenzgenerierungsaufgabe anwendbar. Wir evaluieren das vorgeschlagene Modell umfassend bei maschinellen Übersetzungen (Englisch-Deutsch und Englisch-Rumänisch) sowie bei der Bildunterschriftenerstellung und stellen fest, dass es die Decodierung erheblich beschleunigt, während es eine Generierungsqualität beibehält, die mit der des sequenzalen Gegenpieces vergleichbar ist.