Wissensverstärktes maskiertes Sprachmodell für die Standpunkt-Detektion

Die Erkennung von Haltung in Twitter-Beiträgen ist besonders herausfordernd aufgrund der kurzen Länge jedes Tweets, der ständigen Einführung neuer Begriffe und Hashtags sowie der von der standardmäßigen Prosa abweichenden Satzstruktur. Fine-tuned Sprachmodelle, die auf umfangreichen, domain-spezifischen Daten trainiert wurden, haben sich für zahlreiche NLP-Aufgaben, einschließlich der Haltungserkennung, als neue State-of-the-Art erwiesen. In diesem Paper stellen wir eine neuartige BERT-basierte Fine-tuning-Methode vor, die das Masked-Language-Model für die Haltungserkennung verbessert. Anstelle einer zufälligen Token-Maskierung schlagen wir vor, eine gewichtete Log-Odds-Ratio zu verwenden, um Wörter mit hoher Unterscheidbarkeit bezüglich der Haltung zu identifizieren, und modellieren anschließend eine Aufmerksamkeitsmechanik, die sich auf diese Wörter konzentriert. Wir zeigen, dass unser vorgeschlagener Ansatz die State-of-the-Art-Leistung bei der Haltungserkennung auf Twitter-Daten zum US-Präsidentschaftswahlkampf 2020 übertrifft.