HyperAIHyperAI

Command Palette

Search for a command to run...

Inférence variationnelle auto-encodante pour les modèles de sujets

Akash Srivastava Charles Sutton

Résumé

Les modèles de sujets sont l'une des méthodes les plus populaires pour apprendre des représentations du texte, mais un défi majeur est que tout changement apporté au modèle de sujet nécessite une dérivation mathématique d'un nouvel algorithme d'inférence. Une approche prometteuse pour résoudre ce problème est l'autoencodage variationnel bayésien (AEVB), mais il s'est avéré difficile de l'appliquer aux modèles de sujets en pratique. Nous présentons, à notre connaissance, la première méthode d'inférence AEVB efficace pour l'allocation de Dirichlet latente (LDA), que nous appelons Inférence Variationnelle Autoencodée Pour Modèle de Sujet (AVITM). Ce modèle aborde les problèmes causés par la loi a priori de Dirichlet et par le phénomène de collapse des composantes. Nous constatons que AVITM correspond en précision aux méthodes traditionnelles, tout en offrant un temps d'inférence beaucoup meilleur. En effet, grâce au réseau d'inférence, nous avons découvert qu'il n'était pas nécessaire de supporter le coût computationnel de l'exécution de l'optimisation variationnelle sur les données de test. Étant donné que AVITM est une boîte noire, il peut être facilement appliqué à de nouveaux modèles de sujets. Pour illustrer cela dramatiquement, nous présentons un nouveau modèle de sujet appelé ProdLDA, qui remplace le modèle de mélange dans LDA par un produit d'experts. En ne changeant qu'une seule ligne de code par rapport à LDA, nous avons constaté que ProdLDA génère des sujets beaucoup plus interprétables, même si LDA est entraîné par échantillonnage de Gibbs réduit.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Inférence variationnelle auto-encodante pour les modèles de sujets | Articles | HyperAI