HyperAIHyperAI

Command Palette

Search for a command to run...

Autoencoding Variationelle Inferenz für Themenmodelle

Akash Srivastava Charles Sutton

Zusammenfassung

Themenmodelle sind eine der beliebtesten Methoden zur Lernrepräsentation von Text, aber eine große Herausforderung besteht darin, dass jede Änderung am Themenmodell die mathematische Herleitung eines neuen Inferenzalgorithmus erfordert. Ein vielversprechender Ansatz, dieses Problem zu lösen, ist das Autoencoding Variational Bayes (AEVB), doch es hat sich als schwierig erwiesen, diesen Ansatz in der Praxis auf Themenmodelle anzuwenden. Wir präsentieren, soweit wir wissen, die erste effektive AEVB-basierte Inferenzmethode für Latent Dirichlet Allocation (LDA), die wir Autoencoded Variational Inference For Topic Model (AVITM) nennen. Dieses Modell bewältigt die Probleme, die durch das Dirichlet-Prior und durch Komponentenkollaps für AEVB verursacht werden. Wir stellen fest, dass AVITM traditionellen Methoden in Bezug auf Genauigkeit gleichkommt und dabei eine deutlich bessere Inferenzzeit bietet. Tatsächlich zeigt sich durch das Inferenznetzwerk, dass es nicht notwendig ist, den Rechenaufwand für die variationale Optimierung auf Testdaten zu betreiben. Da AVITM ein Black-Box-Modell ist, kann es leicht auf neue Themenmodelle angewendet werden. Als dramatisches Beispiel dafür präsentieren wir ein neues Themenmodell namens ProdLDA, das das Mischungsmodell in LDA durch ein Produkt von Experten ersetzt. Durch die Änderung nur einer Codezeile im Vergleich zu LDA finden wir heraus, dass ProdLDA viel interpretierbarere Themen erzeugt, selbst wenn LDA über zusammengefasste Gibbs-Sampling trainiert wird.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp