Inférence variationnelle auto-encodante pour les modèles de sujets

Les modèles de sujets sont l'une des méthodes les plus populaires pour apprendre des représentations du texte, mais un défi majeur est que tout changement apporté au modèle de sujet nécessite une dérivation mathématique d'un nouvel algorithme d'inférence. Une approche prometteuse pour résoudre ce problème est l'autoencodage variationnel bayésien (AEVB), mais il s'est avéré difficile de l'appliquer aux modèles de sujets en pratique. Nous présentons, à notre connaissance, la première méthode d'inférence AEVB efficace pour l'allocation de Dirichlet latente (LDA), que nous appelons Inférence Variationnelle Autoencodée Pour Modèle de Sujet (AVITM). Ce modèle aborde les problèmes causés par la loi a priori de Dirichlet et par le phénomène de collapse des composantes. Nous constatons que AVITM correspond en précision aux méthodes traditionnelles, tout en offrant un temps d'inférence beaucoup meilleur. En effet, grâce au réseau d'inférence, nous avons découvert qu'il n'était pas nécessaire de supporter le coût computationnel de l'exécution de l'optimisation variationnelle sur les données de test. Étant donné que AVITM est une boîte noire, il peut être facilement appliqué à de nouveaux modèles de sujets. Pour illustrer cela dramatiquement, nous présentons un nouveau modèle de sujet appelé ProdLDA, qui remplace le modèle de mélange dans LDA par un produit d'experts. En ne changeant qu'une seule ligne de code par rapport à LDA, nous avons constaté que ProdLDA génère des sujets beaucoup plus interprétables, même si LDA est entraîné par échantillonnage de Gibbs réduit.