HyperAIHyperAI

Command Palette

Search for a command to run...

Wissensverstärktes maskiertes Sprachmodell für die Standpunkt-Detektion

Lisa Singh Kornraphop Kawintiranon

Zusammenfassung

Die Erkennung von Haltung in Twitter-Beiträgen ist besonders herausfordernd aufgrund der kurzen Länge jedes Tweets, der ständigen Einführung neuer Begriffe und Hashtags sowie der von der standardmäßigen Prosa abweichenden Satzstruktur. Fine-tuned Sprachmodelle, die auf umfangreichen, domain-spezifischen Daten trainiert wurden, haben sich für zahlreiche NLP-Aufgaben, einschließlich der Haltungserkennung, als neue State-of-the-Art erwiesen. In diesem Paper stellen wir eine neuartige BERT-basierte Fine-tuning-Methode vor, die das Masked-Language-Model für die Haltungserkennung verbessert. Anstelle einer zufälligen Token-Maskierung schlagen wir vor, eine gewichtete Log-Odds-Ratio zu verwenden, um Wörter mit hoher Unterscheidbarkeit bezüglich der Haltung zu identifizieren, und modellieren anschließend eine Aufmerksamkeitsmechanik, die sich auf diese Wörter konzentriert. Wir zeigen, dass unser vorgeschlagener Ansatz die State-of-the-Art-Leistung bei der Haltungserkennung auf Twitter-Daten zum US-Präsidentschaftswahlkampf 2020 übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp