Geschnittene iterative Normalisierende Flüsse

Wir entwickeln einen iterativen (greedy) Deep-Learning-(DL)-Algorithmus, der in der Lage ist, eine beliebige Wahrscheinlichkeitsdichtefunktion (PDF) in eine Ziel-PDF zu transformieren. Das Modell basiert auf der iterativen Optimalen Transport-Theorie für eine Folge eindimensionaler (1D) Schnitte, wobei auf jedem Schnitt die Rand-PDF der Ziel-PDF angepasst wird. Die Achsen der orthogonalen Schnitte werden in jeder Iteration so gewählt, dass der Unterschied zwischen den PDFs mittels Wasserstein-Distanz maximiert wird, was die Skalierbarkeit des Algorithmus auf hohe Dimensionen ermöglicht. Als Spezialfälle dieses Ansatzes führen wir zwei iterative geschnittene Normalisierende Fluss-Modelle (Sliced Iterative Normalizing Flows, SINF) ein, die jeweils von der Datenebene in den Latentraum (GIS) und umgekehrt (SIG) abbilden. Wir zeigen, dass SIG in der Lage ist, hochwertige Proben aus Bilddatensätzen zu erzeugen, die mit den Benchmarks von GANs vergleichbar sind, während GIS im Vergleich zu traditionell auf Dichteschätzung trainierten Normalisierenden Flüssen konkurrenzfähige Ergebnisse erzielt, dabei stabiler, schneller ist und bei geringen Trainingsmengen höhere $p(x)$-Werte erreicht. Der SINF-Ansatz weicht signifikant vom aktuellen Paradigma des Deep Learnings ab, da er gierig arbeitet und Konzepte wie Mini-Batching, stochastisches Gradientenabstiegsverfahren sowie Gradientenrückpropagation durch tiefe Schichten nicht verwendet.