Dicht verbundene normalisierende Flüsse

Normale Flüsse sind bijektive Abbildungen zwischen Eingaben und latenten Darstellungen mit einer vollständig faktorisierten Verteilung. Sie sind aufgrund der exakten Likelihood-Bewertung und der effizienten Stichprobenerzeugung äußerst attraktiv. Allerdings ist ihre effektive Kapazität oft unzureichend, da die Bijektivitätsbedingung die Modellbreite einschränkt. Wir adressieren dieses Problem durch schrittweise Hinzufügen von Rauschen zu intermediären Darstellungen. Das Rauschen wird entsprechend den vorherigen invertierbaren Einheiten präkonditioniert, was wir als Kreuz-Einheit-Kopplung bezeichnen. Unsere invertierbaren Glow-ähnlichen Module erhöhen die Modellausdrucksstärke, indem sie einen dicht verbundenen Block mit Nystrom- Selbst-Attention kombinieren. Wir bezeichnen unsere Architektur als DenseFlow, da sowohl die Kreuz-Einheit- als auch die intra-Modul-Kopplungen auf dichter Verbindung basieren. Experimente zeigen erhebliche Verbesserungen durch die vorgeschlagenen Beiträge und offenbaren eine state-of-the-art Dichteschätzung unter moderaten Rechenressourcen.