Stance-Detektion mit kooperativen, rollenbasierten LLM-Agenten

Die Stance-Detektion erkennt automatisch die Haltung eines Textes gegenüber einem bestimmten Ziel, was für die Inhaltsanalyse in Web- und Sozialmedienforschung von entscheidender Bedeutung ist. Trotz ihrer vielversprechenden Fähigkeiten stoßen große Sprachmodelle (LLMs) bei der direkten Anwendung auf die Stance-Detektion auf erhebliche Herausforderungen. Erstens erfordert die Stance-Detektion Wissen aus mehreren Aspekten, von der Entschlüsselung ereignisbezogener Fachbegriffe bis hin zum Verständnis der Ausdrucksformen in sozialen Medienplattformen. Zweitens ist fortgeschrittenes Schlussfolgern notwendig, um implizite Meinungen der Autoren zu erschließen, da Haltungen oft subtil eingebettet und nicht explizit im Text formuliert sind. Um diese Herausforderungen zu bewältigen, entwickeln wir einen dreistufigen Ansatz namens COLA (kurz für Collaborative rOle-infused LLM-based Agents), bei dem LLMs jeweils unterschiedliche Rollen zugeordnet werden, um ein kooperatives System zu schaffen, in dem jede Rolle einen einzigartigen Beitrag leistet. Zunächst führen wir im Stadium der multidimensionalen Textanalyse die LLMs als Sprachexperten, Fachspezialisten und erfahrene Social-Media-Experten aus, um eine facettenreiche Analyse von Texten zu ermöglichen und somit die erste Herausforderung zu überwinden. Im anschließenden Stadium der reasoning-verbesserten Debatte weisen wir für jede mögliche Haltung einen spezifischen, auf einem LLM basierenden Agenten als Befürworter zu, der den LLM dabei unterstützt, logische Verbindungen zwischen Textmerkmalen und Haltung aufzudecken – so wird die zweite Herausforderung angegangen. Schließlich erzeugt im Stadium der Stance-Feststellung ein abschließender Entscheidungsagent die endgültige Haltung, indem er vorherige Erkenntnisse integriert. Unser Ansatz verzichtet auf zusätzliche annotierte Daten und zusätzliche Modelltrainings und ist dennoch äußerst nutzbar. Wir erreichen state-of-the-art Ergebnisse auf mehreren Datensätzen. Ablationsstudien bestätigen die Wirksamkeit jeder einzelnen Rolle im Design für die Stance-Detektion. Weitere Experimente zeigen die Erklärbarkeit und Vielseitigkeit unseres Ansatzes. Unser Verfahren überzeugt durch hohe Nutzbarkeit, Genauigkeit, Effektivität, Erklärbarkeit und Vielseitigkeit und unterstreicht somit seinen hohen Wert.