HyperAIHyperAI

Command Palette

Search for a command to run...

Residuale Flüsse für invertierbares generatives Modellieren

Ricky T. Q. Chen; Jens Behrmann; David Duvenaud; Jörn-Henrik Jacobsen

Zusammenfassung

Flussbasierte generative Modelle parametrisieren Wahrscheinlichkeitsverteilungen durch eine umkehrbare Transformation und können mittels Maximum-Likelihood-Verfahren trainiert werden. Umkehrbare Residualnetzwerke bieten eine flexible Familie von Transformationen, bei denen nur Lipschitz-Bedingungen anstelle strenger architektonischer Einschränkungen für die Erzwingung der Umkehrbarkeit erforderlich sind. Allerdings basierten frühere Arbeiten beim Training von umkehrbaren Residualnetzwerken für Dichteabschätzungen auf verfälschten Log-Dichte-Schätzern, deren Verfälschung mit der Ausdrucksstärke des Netzwerks zunahm. Wir geben einen handhabbaren, unverfälschten Schätzer der Log-Dichte unter Verwendung eines "Russian Roulette"-Schätzers an und reduzieren den während des Trainings benötigten Speicherplatz durch die Verwendung einer alternativen unendlichen Reihe für den Gradienten. Darüber hinaus verbessern wir umkehrbare Residualblöcke, indem wir Aktivierungsfunktionen vorschlagen, die Ableitungssättigung vermeiden, und die Lipschitz-Bedingung auf induzierte gemischte Normen verallgemeinern. Der resultierende Ansatz, als Residual Flows bezeichnet, erreicht Spitzenwerte bei der Dichteabschätzung unter flussbasierten Modellen und übertrifft Netzwerke, die Kopplungsblöcke verwenden, in der gemeinsamen generativen und diskriminativen Modellierung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp