Flots de normalisation fortement connectés

Les flows normaux sont des applications bijectives entre les entrées et les représentations latentes, caractérisées par une distribution entièrement factorisée. Leur attrait réside dans la possibilité d’évaluer exactement la vraisemblance et d’échantillonner efficacement. Toutefois, leur capacité expressive est souvent insuffisante, car la contrainte de bijectivité limite la largeur du modèle. Nous abordons ce problème en ajoutant progressivement du bruit aux représentations intermédiaires. Ce bruit est préconditionné en fonction des unités inversibles précédentes, ce que nous désignons comme couplage entre unités. Nos modules inversibles inspirés du Glow augmentent l’expressivité du modèle en combinant un bloc entièrement connecté avec une attention auto-Nystrom. Nous désignons notre architecture par DenseFlow, car à la fois le couplage entre unités et le couplage intra-module reposent sur une connectivité dense. Les expériences montrent des améliorations significatives dues aux contributions proposées, et révèlent des résultats de pointe en estimation de densité sous des budgets informatiques modérés.