HyperAIHyperAI
vor 2 Monaten

Block neuronale autoregressive Flussmodelle

Nicola De Cao; Ivan Titov; Wilker Aziz
Block neuronale autoregressive Flussmodelle
Abstract

Normalisierende Flüsse (NFS) bilden zwei Dichtefunktionen durch eine differenzierbare Bijektion ab, deren Jakobi-Determinante effizient berechnet werden kann. Kürzlich schlugen Huang et al. (2018) als Alternative zu manuell gestalteten Bijektionen den neuronalen autoregressiven Fluss (NAF) vor, der ein universeller Approximator für Dichtefunktionen ist. Ihr Fluss ist ein neuronales Netzwerk (NN), dessen Parameter von einem weiteren NN vorhergesagt werden. Das zweite NN wächst quadratisch mit der Größe des ersten und daher ist eine effiziente Technik zur Parametrisierung erforderlich. Wir schlagen den blockweisen neuronalen autoregressiven Fluss (B-NAF) vor, einen viel kompakteren universellen Approximator von Dichtefunktionen, bei dem wir die Bijektion direkt mit einem einzelnen Feed-Forward-Netzwerk modellieren. Die Invertierbarkeit wird durch sorgfältiges Design jeder affinen Transformation mit Blockmatrizen sichergestellt, die den Fluss autoregressiv und (streng) monoton machen. Wir vergleichen B-NAF mit NAF und anderen etablierten Flüssen in Bezug auf Dichteabschätzung und approximative Inferenz für latente Variablenmodelle. Unser vorgeschlagener Fluss ist über Datensätze hinweg wettbewerbsfähig, während er um Größenordnungen weniger Parameter verwendet.