Entdeckung diskreter latenter Themen mit neuronalen variationellen Inferenzmethoden

Themenmodelle wurden weitgehend als wahrscheinlichkeitstheoretische generative Modelle von Dokumenten untersucht. Traditionelle Inferenzmethoden haben nach geschlossenen Formeln für die Aktualisierung der Modelle gesucht, jedoch nimmt mit der wachsenden Ausdrucksstärke dieser Modelle auch die Schwierigkeit, schnell und genaue Inferenz über ihre Parameter durchzuführen, zu. Dieses Papier präsentiert alternative neuronale Ansätze zum Themenmodellieren, indem es parameterisierte Verteilungen über Themen bereitstellt, die eine Trainierung durch Rückwärtspropagation im Rahmen der neuronalen variationellen Inferenz erlauben. Darüber hinaus schlagen wir mit Hilfe einer Stabbruchkonstruktion ein rekurrentes Netzwerk vor, das in der Lage ist, eine prinzipiell unbegrenzte Anzahl von Themen zu entdecken, analog zu bayesianischen nichtparametrischen Themenmodellen. Experimentelle Ergebnisse anhand der Datensätze MXM Song Lyrics, 20Newsgroups und Reuters News belegen die Effektivität und Effizienz dieser neuronalen Themenmodelle.