HyperAIHyperAI

Command Palette

Search for a command to run...

Thema-geleitete Sampling für dateneffiziente Multi-Domain-Haltungserkennung

Erik Arakelyan Arnav Arora Isabelle Augenstein

Zusammenfassung

Die Stance-Detektion befasst sich mit der Identifizierung der Haltungen, die ein Autor gegenüber einem bestimmten Gegenstand der Aufmerksamkeit vertritt. Dieses Aufgabenfeld erstreckt sich über eine Vielzahl von Domänen, von der Identifikation von Meinungen in sozialen Medien bis hin zur Erkennung von Haltungen bei rechtlichen Ansprüchen. Allerdings unterscheidet sich die Formulierung der Aufgabe innerhalb dieser Domänen hinsichtlich des Datensammlungsprotokolls, des Label-Wörterbuchs und der Anzahl verfügbarer Annotationen. Zudem sind die Stance-Annotationen sowohl innerhalb einzelner Themen als auch zwischen verschiedenen Themen erheblich unbalanciert. Diese Faktoren machen die mehrdomänenübergreifende Stance-Detektion zu einer herausfordernden Aufgabe, die eine Standardisierung und Domänenanpassung erfordert. Um dieser Herausforderung zu begegnen, schlagen wir T\textbf{T}Topic E\textbf{E}Efficient St\textbf{St}StancE\textbf{E}E D\textbf{D}Detection (TESTED) vor, bestehend aus einer themenorientierten Diversitäts-Sampling-Technik und einem kontrastiven Ziel, das zur Feinabstimmung eines Stance-Klassifikators verwendet wird. Wir evaluieren unsere Methode anhand einer bestehenden Benchmark mit 16 Datensätzen, sowohl in-Domain-Tests (alle Themen bekannt) als auch out-of-Domain-Tests (unbekannte Themen). Die Ergebnisse zeigen, dass unsere Methode den Stand der Technik übertrifft – mit einer durchschnittlichen Verbesserung um 3,5 F1-Punkte im in-Domain-Bereich – und darüber hinaus eine deutlich bessere Generalisierbarkeit aufweist, gemessen an einer durchschnittlichen Steigerung um 10,2 F1-Punkte im out-of-Domain-Bereich, wobei nur ≤10 % der Trainingsdaten genutzt werden. Wir zeigen, dass unsere Sampling-Technik sowohl die inter-thematische als auch die innerhalb eines Themas auftretende Klassenunbalancierung effektiv reduziert. Schließlich belegt unsere Analyse, dass das kontrastive Lernziel dem Modell eine präzisere Segmentierung von Beispielen mit unterschiedlichen Labels ermöglicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp