HyperAIHyperAI

Command Palette

Search for a command to run...

Flow++: Verbesserung von flussbasierten generativen Modellen durch variationelle Dequantisierung und Architekturdesign

Jonathan Ho Xi Chen Aravind Srinivas Yan Duan Pieter Abbeel

Zusammenfassung

Flussbasierte Generative Modelle sind leistungsstarke exakte Wahrscheinlichkeitsmodelle mit effizienter Stichprobenziehung und Inferenz. Trotz ihrer Recheneffizienz weisen Flussbasierte Modelle im Allgemeinen eine deutlich schlechtere Dichte-Modellierung-Leistung auf als die derzeit besten autoregressiven Modelle. In dieser Arbeit untersuchen und verbessern wir drei einschränkende Designentscheidungen, die in früheren Arbeiten für Flussbasierte Modelle getroffen wurden: die Verwendung von gleichverteilter Rauschsignale zur Dekuantisierung, die Anwendung von wenig ausdrucksstarken affinen Flüssen sowie die Verwendung rein faltungsbasierter Konditionsnetze in Kopplungsschichten. Auf Basis unserer Erkenntnisse schlagen wir Flow++ vor, ein neues flussbasiertes Modell, das nun das beste nicht-autoregressive Modell für bedingungslose Dichteschätzung bei Standardbildbenchmarks ist. Unsere Arbeit hat begonnen, den bisher bestehenden signifikanten Leistungsunterschied zwischen autoregressiven Modellen und flussbasierten Modellen zu verringern. Unsere Implementierung ist unter https://github.com/aravindsrinivas/flowpp verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Flow++: Verbesserung von flussbasierten generativen Modellen durch variationelle Dequantisierung und Architekturdesign | Paper | HyperAI