Autoencoding Variationelle Inferenz für Themenmodelle

Themenmodelle sind eine der beliebtesten Methoden zur Lernrepräsentation von Text, aber eine große Herausforderung besteht darin, dass jede Änderung am Themenmodell die mathematische Herleitung eines neuen Inferenzalgorithmus erfordert. Ein vielversprechender Ansatz, dieses Problem zu lösen, ist das Autoencoding Variational Bayes (AEVB), doch es hat sich als schwierig erwiesen, diesen Ansatz in der Praxis auf Themenmodelle anzuwenden. Wir präsentieren, soweit wir wissen, die erste effektive AEVB-basierte Inferenzmethode für Latent Dirichlet Allocation (LDA), die wir Autoencoded Variational Inference For Topic Model (AVITM) nennen. Dieses Modell bewältigt die Probleme, die durch das Dirichlet-Prior und durch Komponentenkollaps für AEVB verursacht werden. Wir stellen fest, dass AVITM traditionellen Methoden in Bezug auf Genauigkeit gleichkommt und dabei eine deutlich bessere Inferenzzeit bietet. Tatsächlich zeigt sich durch das Inferenznetzwerk, dass es nicht notwendig ist, den Rechenaufwand für die variationale Optimierung auf Testdaten zu betreiben. Da AVITM ein Black-Box-Modell ist, kann es leicht auf neue Themenmodelle angewendet werden. Als dramatisches Beispiel dafür präsentieren wir ein neues Themenmodell namens ProdLDA, das das Mischungsmodell in LDA durch ein Produkt von Experten ersetzt. Durch die Änderung nur einer Codezeile im Vergleich zu LDA finden wir heraus, dass ProdLDA viel interpretierbarere Themen erzeugt, selbst wenn LDA über zusammengefasste Gibbs-Sampling trainiert wird.