HyperAIHyperAI

Command Palette

Search for a command to run...

Neurales Themenmodell mittels optimaler Transporttheorie

He Zhao Dinh Phung Viet Huynh Trung Le Wray Buntine

Zusammenfassung

Kürzlich haben neuronale Themenmodelle (NTMs), die von Variationalen Autoencodern inspiriert sind, aufgrund ihrer vielversprechenden Ergebnisse in der Textanalyse zunehmend Forschungsinteresse geweckt. Allerdings ist es den bisherigen NTMs oft schwer, gleichzeitig eine gute Dokumentendarstellung sowie kohärente und vielfältige Themen zu erzielen. Zudem leiden sie häufig erheblich in ihrer Leistungsfähigkeit bei kurzen Dokumenten. Die Notwendigkeit einer Reparametrisierung kann zudem die Trainingsqualität und die Modelflexibilität beeinträchtigen. Um diese Nachteile zu überwinden, präsentieren wir ein neues neuronales Themenmodell auf Basis der Theorie des optimalen Transports (OT). Konkret schlagen wir vor, die Themenverteilung eines Dokuments durch direkte Minimierung des OT-Abstands zwischen dem Dokument und seiner Wortverteilung zu lernen. Wichtig hierbei ist, dass die Kostenmatrix des OT-Abstands die Gewichte zwischen Themen und Wörtern modelliert, die durch die Abstände zwischen Themen und Wörtern im Embedding-Raum konstruiert werden. Unser vorgeschlagenes Modell kann effizient mit einer differenzierbaren Verlustfunktion trainiert werden. Umfassende Experimente zeigen, dass unser Framework die derzeit besten NTMs signifikant übertrifft, sowohl hinsichtlich der Entdeckung kohärenter und vielfältiger Themen als auch hinsichtlich der Ableitung verbesserter Dokumentendarstellungen sowohl für reguläre als auch für kurze Texte.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neurales Themenmodell mittels optimaler Transporttheorie | Paper | HyperAI