Untersuchung mehrstufiger Bedrohungen in Telegram-Daten mit KI-Mensch-Annotation: Eine Vorstudie

Diese Forschung befasst sich mit der entscheidenden Herausforderung, Bedrohungen in sozialen Medienkommentaren, die sich auf Wahlen, öffentliche Amtsträger und Institutionen in den Vereinigten Staaten richten, wirksam zu messen. Unser Verständnis dieser Online-Bedrohungen und ihrer Verbindungen zu realweltlichen Risiken ist derzeit begrenzt, was die Einschätzung ihrer Schwere erschwert. Um diese Einschränkungen zu überwinden, schlagen wir eine umfassende Bedrohungsstufenskala von 0 bis 5 vor und sammeln einen Datensatz mit 1,3 Millionen Telegram-Nachrichten, um diese Bedrohungsstufen zu entwickeln und rigoros zu testen. Zudem untersuchen wir den Einsatz von OpenAI- und menschlicher Annotation, um diesen umfangreichen Datensatz effizient zu kennzeichnen. Unser innovativer zweistufiger Transfer-Learning-Ansatz nutzt zunächst ein bestehendes, vortrainiertes Modell zur Kennzeichnung, gefolgt von einer Validierung durch Experten. Anschließend verwenden wir die von KI annotierten Beispiele, um unabhängige Modelle zu entwickeln, deren Vorhersagen erneut von Experten annotiert werden. Besonders hervorzuheben ist, dass das GPT-2-Modell, trotz eines kleineren annotierten Trainingsdatensatzes, vergleichbare Ergebnisse wie die OpenAI-Annotationen erzielt und somit sein Potenzial für kosteneffiziente Bedrohungserkennung bei weiterer Annotation von Daten zeigt. Mit dem langfristigen Ziel, eine kontinuierliche Überwachung der Bedrohungsstufen einzurichten, identifizieren wir die Stärken und Grenzen unseres aktuellen Ansatzes und legen einen Fahrplan zur Verbesserung der Bedrohungsdetektion vor.