Neurales Themenmodell mittels optimaler Transporttheorie

Kürzlich haben neuronale Themenmodelle (NTMs), die von Variationalen Autoencodern inspiriert sind, aufgrund ihrer vielversprechenden Ergebnisse in der Textanalyse zunehmend Forschungsinteresse geweckt. Allerdings ist es den bisherigen NTMs oft schwer, gleichzeitig eine gute Dokumentendarstellung sowie kohärente und vielfältige Themen zu erzielen. Zudem leiden sie häufig erheblich in ihrer Leistungsfähigkeit bei kurzen Dokumenten. Die Notwendigkeit einer Reparametrisierung kann zudem die Trainingsqualität und die Modelflexibilität beeinträchtigen. Um diese Nachteile zu überwinden, präsentieren wir ein neues neuronales Themenmodell auf Basis der Theorie des optimalen Transports (OT). Konkret schlagen wir vor, die Themenverteilung eines Dokuments durch direkte Minimierung des OT-Abstands zwischen dem Dokument und seiner Wortverteilung zu lernen. Wichtig hierbei ist, dass die Kostenmatrix des OT-Abstands die Gewichte zwischen Themen und Wörtern modelliert, die durch die Abstände zwischen Themen und Wörtern im Embedding-Raum konstruiert werden. Unser vorgeschlagenes Modell kann effizient mit einer differenzierbaren Verlustfunktion trainiert werden. Umfassende Experimente zeigen, dass unser Framework die derzeit besten NTMs signifikant übertrifft, sowohl hinsichtlich der Entdeckung kohärenter und vielfältiger Themen als auch hinsichtlich der Ableitung verbesserter Dokumentendarstellungen sowohl für reguläre als auch für kurze Texte.