Flot de Régression Neuronal par Blocs

Les flux normalisés (NFS) établissent une correspondance entre deux fonctions de densité par le biais d'une bijection différentiable dont le déterminant jacobien peut être calculé efficacement. Récemment, en guise d'alternative aux bijections conçues manuellement, Huang et al. (2018) ont proposé le flux neuronal autoregressif (NAF), qui est un approximateur universel pour les fonctions de densité. Leur flux est un réseau neuronal (NN) dont les paramètres sont prédits par un autre réseau neuronal. Ce dernier croît quadratiquement avec la taille du premier, ce qui nécessite une technique efficace de paramétrisation. Nous proposons le flux neuronal autoregressif par blocs (B-NAF), un approximateur universel beaucoup plus compact des fonctions de densité, où nous modélisons directement une bijection à l'aide d'un seul réseau de propagation avant. L'inversibilité est garantie en concevant soigneusement chaque transformation affine avec des matrices par blocs qui rendent le flux autoregressif et (strictement) monotone. Nous comparons le B-NAF au NAF et à d'autres flux établis pour l'estimation de densité et l'inférence approximative dans les modèles à variables latentes. Notre flux proposé est compétitif sur différents jeux de données tout en utilisant des ordres de grandeur moins de paramètres.