HyperAIHyperAI

Command Palette

Search for a command to run...

Flots discrets : Modèles génératifs inversibles de données discrètes

Dustin Tran Keyon Vafa Kumar Krishna Agrawal Laurent Dinh Ben Poole

Résumé

Bien que les flux normalisants aient permis des avancées significatives dans la modélisation de distributions continues à haute dimension, leur applicabilité aux distributions discrètes reste incertaine. Dans cet article, nous démontrons qu'il est en effet possible d'étendre les flux aux événements discrets, et ce grâce à une formule simple de changement de variables qui n'exige pas le calcul du logarithme du jacobien déterminant. Les flux discrets ont de nombreuses applications. Nous examinons deux architectures de flux : les flux autoregressifs discrets qui permettent la bidirectionnalité, autorisant par exemple les jetons dans un texte à dépendre à la fois des contextes gauche-droite et droit-gauche dans un modèle linguistique exact ; et les flux bipartites discrets qui permettent une génération non autoregressive efficace comme dans RealNVP. Sur le plan empirique, nous constatons que les flux autoregressifs discrets surpassent les modèles de base autoregressifs sur des distributions synthétiques discrètes, une tâche d'addition et des modèles de Potts ; et que les flux bipartites peuvent obtenir des performances compétitives comparables à celles des modèles de base autoregressifs pour la modélisation linguistique au niveau des caractères sur Penn Tree Bank et text8.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Flots discrets : Modèles génératifs inversibles de données discrètes | Articles | HyperAI