Diskrete Flüsse: Umkehrbare generative Modelle für diskrete Daten

Während normale Flussmodelle zu erheblichen Fortschritten bei der Modellierung hochdimensionaler kontinuierlicher Verteilungen geführt haben, bleibt ihre Anwendbarkeit auf diskrete Verteilungen unklar. In dieser Arbeit zeigen wir, dass Flussmodelle tatsächlich auf diskrete Ereignisse erweitert werden können – und zwar unter Verwendung einer einfachen Variablentransformationsformel, die keine Berechnung des Log-Determinanten-Jacobis erfordert. Diskrete Flussmodelle haben zahlreiche Anwendungen. Wir betrachten zwei Flussarchitekturen: diskrete autoregressive Flüsse, die Bidirektionalität ermöglichen und zulassen, dass beispielsweise Texttokens sowohl von links nach rechts als auch von rechts nach links abhängen, was in einem exakten Sprachmodell möglich ist; und diskrete bipartite Flüsse, die effiziente nicht-autoregressive Generierung wie in RealNVP ermöglichen. Empirisch stellen wir fest, dass diskrete autoregressive Flüsse autoregressive Baseline-Modelle bei synthetischen diskreten Verteilungen, einer Additionsaufgabe und Potts-Modellen übertreffen; und bipartite Flüsse können wettbewerbsfähige Ergebnisse mit autoregressiven Baseline-Modellen bei der Zeichenebene-Sprachmodellierung für Penn Tree Bank und text8 erzielen.