Residuale Flüsse für invertierbares generatives Modellieren

Flussbasierte generative Modelle parametrisieren Wahrscheinlichkeitsverteilungen durch eine umkehrbare Transformation und können mittels Maximum-Likelihood-Verfahren trainiert werden. Umkehrbare Residualnetzwerke bieten eine flexible Familie von Transformationen, bei denen nur Lipschitz-Bedingungen anstelle strenger architektonischer Einschränkungen für die Erzwingung der Umkehrbarkeit erforderlich sind. Allerdings basierten frühere Arbeiten beim Training von umkehrbaren Residualnetzwerken für Dichteabschätzungen auf verfälschten Log-Dichte-Schätzern, deren Verfälschung mit der Ausdrucksstärke des Netzwerks zunahm. Wir geben einen handhabbaren, unverfälschten Schätzer der Log-Dichte unter Verwendung eines "Russian Roulette"-Schätzers an und reduzieren den während des Trainings benötigten Speicherplatz durch die Verwendung einer alternativen unendlichen Reihe für den Gradienten. Darüber hinaus verbessern wir umkehrbare Residualblöcke, indem wir Aktivierungsfunktionen vorschlagen, die Ableitungssättigung vermeiden, und die Lipschitz-Bedingung auf induzierte gemischte Normen verallgemeinern. Der resultierende Ansatz, als Residual Flows bezeichnet, erreicht Spitzenwerte bei der Dichteabschätzung unter flussbasierten Modellen und übertrifft Netzwerke, die Kopplungsblöcke verwenden, in der gemeinsamen generativen und diskriminativen Modellierung.