HyperAIHyperAI

Command Palette

Search for a command to run...

Neuronales Thema-Modellieren mit bidirektionaler adversarischer Trainingstechnik

Rui Wang Xuemeng Hu Deyu Zhou Yulan He Yuxuan Xiong Chenchen Ye Haiyang Xu

Zusammenfassung

In den letzten Jahren hat sich ein starkes Interesse an der Verwendung neuronaler Themenmodelle zur automatischen Themenextraktion aus Texten entwickelt, da diese Modelle auf die komplizierten mathematischen Ableitungen zur Modellinferenz verzichten, wie sie bei traditionellen Themenmodellen wie der Latent Dirichlet Allocation (LDA) erforderlich sind. Allerdings gehen diese Modelle entweder von einer unangemessenen Priorverteilung (z. B. Gauss- oder Logistisch-Normal-Verteilung) im latenten Themenraum aus oder sind nicht in der Lage, die Themenverteilung für ein gegebenes Dokument zu inferieren. Um diese Einschränkungen zu überwinden, schlagen wir einen neuen Ansatz für neuronale Themenmodellierung vor, den sogenannten Bidirektionalen adversarialen Themen- (BAT-) Modell, der den ersten Versuch darstellt, bidirektionale adversarielle Lernverfahren für neuronale Themenmodellierung einzusetzen. Der vorgeschlagene BAT-Modell etabliert eine zweiseitige Projektion zwischen der Dokument-Thema-Verteilung und der Dokument-Wort-Verteilung. Er nutzt einen Generator, um semantische Muster aus Texten zu erfassen, und einen Encoder zur Themeninferenz. Darüber hinaus wird der BAT-Modell um die Berücksichtigung von Wortverwandtschaftsinformationen erweitert, wodurch der erweiterte Modelltyp Bidirektionaler adversarialer Themen-Modell mit Gauss-Verteilung (Gaussian-BAT) entsteht. Zur Überprüfung der Wirksamkeit von BAT und Gaussian-BAT werden in unseren Experimenten drei Benchmark-Korpora eingesetzt. Die experimentellen Ergebnisse zeigen, dass sowohl BAT als auch Gaussian-BAT kohärentere Themen erzeugen und mehrere konkurrierende Baselines übertrifft. Zudem erzielen unsere Modelle bei der Textclustering-Aufgabe auf Basis der extrahierten Themen eine bessere Leistung als alle Baselines, wobei Gaussian-BAT insbesondere erhebliche Verbesserungen zeigt – hierbei wurde eine Steigerung der Genauigkeit um fast 6 % beobachtet.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Neuronales Thema-Modellieren mit bidirektionaler adversarischer Trainingstechnik | Paper | HyperAI