Flow++: Verbesserung von flussbasierten generativen Modellen durch variationelle Dequantisierung und Architekturdesign

Flussbasierte Generative Modelle sind leistungsstarke exakte Wahrscheinlichkeitsmodelle mit effizienter Stichprobenziehung und Inferenz. Trotz ihrer Recheneffizienz weisen Flussbasierte Modelle im Allgemeinen eine deutlich schlechtere Dichte-Modellierung-Leistung auf als die derzeit besten autoregressiven Modelle. In dieser Arbeit untersuchen und verbessern wir drei einschränkende Designentscheidungen, die in früheren Arbeiten für Flussbasierte Modelle getroffen wurden: die Verwendung von gleichverteilter Rauschsignale zur Dekuantisierung, die Anwendung von wenig ausdrucksstarken affinen Flüssen sowie die Verwendung rein faltungsbasierter Konditionsnetze in Kopplungsschichten. Auf Basis unserer Erkenntnisse schlagen wir Flow++ vor, ein neues flussbasiertes Modell, das nun das beste nicht-autoregressive Modell für bedingungslose Dichteschätzung bei Standardbildbenchmarks ist. Unsere Arbeit hat begonnen, den bisher bestehenden signifikanten Leistungsunterschied zwischen autoregressiven Modellen und flussbasierten Modellen zu verringern. Unsere Implementierung ist unter https://github.com/aravindsrinivas/flowpp verfügbar.