HyperAIHyperAI

Command Palette

Search for a command to run...

Flots de normalisation fortement connectés

Matej Grcić Ivan Grubišić Siniša Šegvić

Résumé

Les flows normaux sont des applications bijectives entre les entrées et les représentations latentes, caractérisées par une distribution entièrement factorisée. Leur attrait réside dans la possibilité d’évaluer exactement la vraisemblance et d’échantillonner efficacement. Toutefois, leur capacité expressive est souvent insuffisante, car la contrainte de bijectivité limite la largeur du modèle. Nous abordons ce problème en ajoutant progressivement du bruit aux représentations intermédiaires. Ce bruit est préconditionné en fonction des unités inversibles précédentes, ce que nous désignons comme couplage entre unités. Nos modules inversibles inspirés du Glow augmentent l’expressivité du modèle en combinant un bloc entièrement connecté avec une attention auto-Nystrom. Nous désignons notre architecture par DenseFlow, car à la fois le couplage entre unités et le couplage intra-module reposent sur une connectivité dense. Les expériences montrent des améliorations significatives dues aux contributions proposées, et révèlent des résultats de pointe en estimation de densité sous des budgets informatiques modérés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp