Thema-geleitete Sampling für dateneffiziente Multi-Domain-Haltungserkennung

Die Stance-Detektion befasst sich mit der Identifizierung der Haltungen, die ein Autor gegenüber einem bestimmten Gegenstand der Aufmerksamkeit vertritt. Dieses Aufgabenfeld erstreckt sich über eine Vielzahl von Domänen, von der Identifikation von Meinungen in sozialen Medien bis hin zur Erkennung von Haltungen bei rechtlichen Ansprüchen. Allerdings unterscheidet sich die Formulierung der Aufgabe innerhalb dieser Domänen hinsichtlich des Datensammlungsprotokolls, des Label-Wörterbuchs und der Anzahl verfügbarer Annotationen. Zudem sind die Stance-Annotationen sowohl innerhalb einzelner Themen als auch zwischen verschiedenen Themen erheblich unbalanciert. Diese Faktoren machen die mehrdomänenübergreifende Stance-Detektion zu einer herausfordernden Aufgabe, die eine Standardisierung und Domänenanpassung erfordert. Um dieser Herausforderung zu begegnen, schlagen wir $\textbf{T}$opic $\textbf{E}$fficient $\textbf{St}$anc$\textbf{E}$ $\textbf{D}$etection (TESTED) vor, bestehend aus einer themenorientierten Diversitäts-Sampling-Technik und einem kontrastiven Ziel, das zur Feinabstimmung eines Stance-Klassifikators verwendet wird. Wir evaluieren unsere Methode anhand einer bestehenden Benchmark mit 16 Datensätzen, sowohl in-Domain-Tests (alle Themen bekannt) als auch out-of-Domain-Tests (unbekannte Themen). Die Ergebnisse zeigen, dass unsere Methode den Stand der Technik übertrifft – mit einer durchschnittlichen Verbesserung um 3,5 F1-Punkte im in-Domain-Bereich – und darüber hinaus eine deutlich bessere Generalisierbarkeit aufweist, gemessen an einer durchschnittlichen Steigerung um 10,2 F1-Punkte im out-of-Domain-Bereich, wobei nur ≤10 % der Trainingsdaten genutzt werden. Wir zeigen, dass unsere Sampling-Technik sowohl die inter-thematische als auch die innerhalb eines Themas auftretende Klassenunbalancierung effektiv reduziert. Schließlich belegt unsere Analyse, dass das kontrastive Lernziel dem Modell eine präzisere Segmentierung von Beispielen mit unterschiedlichen Labels ermöglicht.