Neuronales Thema-Modellieren mit bidirektionaler adversarischer Trainingstechnik

In den letzten Jahren hat sich ein starkes Interesse an der Verwendung neuronaler Themenmodelle zur automatischen Themenextraktion aus Texten entwickelt, da diese Modelle auf die komplizierten mathematischen Ableitungen zur Modellinferenz verzichten, wie sie bei traditionellen Themenmodellen wie der Latent Dirichlet Allocation (LDA) erforderlich sind. Allerdings gehen diese Modelle entweder von einer unangemessenen Priorverteilung (z. B. Gauss- oder Logistisch-Normal-Verteilung) im latenten Themenraum aus oder sind nicht in der Lage, die Themenverteilung für ein gegebenes Dokument zu inferieren. Um diese Einschränkungen zu überwinden, schlagen wir einen neuen Ansatz für neuronale Themenmodellierung vor, den sogenannten Bidirektionalen adversarialen Themen- (BAT-) Modell, der den ersten Versuch darstellt, bidirektionale adversarielle Lernverfahren für neuronale Themenmodellierung einzusetzen. Der vorgeschlagene BAT-Modell etabliert eine zweiseitige Projektion zwischen der Dokument-Thema-Verteilung und der Dokument-Wort-Verteilung. Er nutzt einen Generator, um semantische Muster aus Texten zu erfassen, und einen Encoder zur Themeninferenz. Darüber hinaus wird der BAT-Modell um die Berücksichtigung von Wortverwandtschaftsinformationen erweitert, wodurch der erweiterte Modelltyp Bidirektionaler adversarialer Themen-Modell mit Gauss-Verteilung (Gaussian-BAT) entsteht. Zur Überprüfung der Wirksamkeit von BAT und Gaussian-BAT werden in unseren Experimenten drei Benchmark-Korpora eingesetzt. Die experimentellen Ergebnisse zeigen, dass sowohl BAT als auch Gaussian-BAT kohärentere Themen erzeugen und mehrere konkurrierende Baselines übertrifft. Zudem erzielen unsere Modelle bei der Textclustering-Aufgabe auf Basis der extrahierten Themen eine bessere Leistung als alle Baselines, wobei Gaussian-BAT insbesondere erhebliche Verbesserungen zeigt – hierbei wurde eine Steigerung der Genauigkeit um fast 6 % beobachtet.