HyperAIHyperAI
vor 2 Monaten

FFJORD: Freie kontinuierliche Dynamik für skalierbare reversibele Generative Modelle

Will Grathwohl; Ricky T. Q. Chen; Jesse Bettencourt; Ilya Sutskever; David Duvenaud
FFJORD: Freie kontinuierliche Dynamik für skalierbare reversibele Generative Modelle
Abstract

Eine vielversprechende Klasse von Generativen Modellen bildet Punkte aus einer einfachen Verteilung durch ein invertierbares neuronales Netzwerk auf eine komplexe Verteilung ab. Die likelihood-basierte Trainierung dieser Modelle erfordert, dass ihre Architekturen so eingeschränkt werden, dass die Berechnung der Jacobideterminanten kostengünstig ist. Alternativ kann die Jacobispur verwendet werden, wenn die Transformation durch eine gewöhnliche Differentialgleichung spezifiziert wird. In dieser Arbeit nutzen wir den Trace-Schätzer von Hutchinson, um eine skalierbare und unverzerrte Schätzung des Log-Dichte zu erhalten. Das Ergebnis ist ein kontinuierliches, invertierbares generatives Modell mit unverzerrter Dichteschätzung und Einpass-Abtastung, wobei gleichzeitig uneingeschränkte neuronale Netzwerkarchitekturen ermöglicht werden. Wir demonstrieren unseren Ansatz anhand hochdimensionaler Dichteschätzungen, Bildgenerierung und variationeller Inferenz, wobei wir den Stand der Technik unter den Methoden mit exakter Likelihood bei effizienter Abtastung erreichen.