HyperAIHyperAI

Command Palette

Search for a command to run...

Ein Ansatz zur Bewertung von Themenmodellen durch Themenabdeckung

DAMIR KORENČIĆ STRAHIL RISTOV JELENA REPAR AND JAN ŠNAJDER

Zusammenfassung

Themenmodelle sind weit verbreitete unüberwachte Modelle, die in der Lage sind, Themen – gewichtete Listen von Wörtern und Dokumenten – aus großen Textdokumentensammlungen zu lernen. Wenn Themenmodelle zur Entdeckung von Themen in Textsammlungen eingesetzt werden, stellt sich die natürliche Frage, wie gut die vom Modell induzierten Themen den für den Analysten interessanten Themen entsprechen. In dieser Arbeit untersuchen und erweitern wir einen bisher vernachlässigten Ansatz zur Bewertung von Themenmodellen, der auf der Messung der Themendeckung basiert – das computergestützte Zuordnen von Modellthemen zu einem Satz von Referenzthemen, die das Modell erwartet wird zu entdecken. Dieser Ansatz ist gut geeignet, um die Leistungsfähigkeit von Modellen bei der Thementdeckung zu analysieren und eine groß angelegte Analyse sowohl von Themenmodellen als auch von Qualitätsmaßen für Modelle durchzuführen. Wir schlagen neue Deckungsmaße vor und evaluieren in einer Reihe von Experimenten verschiedene Arten von Themenmodellen in zwei unterschiedlichen Textdomänen, in denen ein Interesse an der Thementdeckung besteht. Die Experimente umfassen die Bewertung der Modellqualität, die Analyse der Deckung verschiedener Themenkategorien sowie die Untersuchung des Zusammenhangs zwischen Deckung und anderen Methoden zur Bewertung von Themenmodellen. Der Beitrag dieses Artikels besteht unter anderem in einem neuen überwachten Maß für die Deckung sowie dem ersten nicht überwachten Maß für die Deckung. Das überwachte Maß erreicht eine Genauigkeit bei der Zuordnung von Themen, die nahe am menschlichen Übereinstimmungsgrad liegt. Das nicht überwachte Maß korreliert stark mit dem überwachten (Spearman’s ρ0,95\rho \geq 0{,}95ρ0,95). Weitere Beiträge beinhalten Erkenntnisse sowohl zu Themenmodellen als auch zu verschiedenen Methoden zur Modellbewertung sowie Datensätze und Code zur Förderung zukünftiger Forschungen zur Themendeckung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp