Exploration des menaces à plusieurs niveaux dans les données Telegram à l’aide d’une annotation IA-humaine : une étude préliminaire

Cette recherche aborde le défi crucial de mesurer efficacement les menaces présentes dans les commentaires des réseaux sociaux ciblant le vote, les responsables publics et les institutions aux États-Unis. Notre compréhension de ces menaces en ligne et de leurs liens avec les risques réels reste limitée, ce qui rend difficile l'évaluation de leur gravité. Pour surmonter ces limites, nous proposons une échelle complète de niveau de menace allant de 0 à 5, et nous collectons un jeu de données de 1,3 million de réponses Telegram afin de développer et de tester rigoureusement ces niveaux de menace. Par ailleurs, nous explorons l’annotation humaine combinée à OpenAI afin d’étiqueter efficacement ce vaste ensemble de données. Notre approche innovante en deux étapes commence par l’utilisation d’un modèle pré-entraîné existant pour l’étiquetage, suivi d’une validation par des experts. Ensuite, nous utilisons les échantillons annotés par l’IA pour développer des modèles indépendants, dont les prédictions sont vérifiées par des annotateurs experts. Notamment, nos résultats montrent que le modèle GPT-2, malgré un ensemble d’apprentissage annoté plus restreint, se compare favorablement aux annotations d’OpenAI, démontrant ainsi son potentiel pour une détection coûte-effective des menaces, particulièrement avec un plus grand nombre d’échantillons annotés. Dans une perspective à long terme visant à établir un suivi continu des niveaux de menace, nous identifions les forces et les limites de notre approche actuelle et proposons une feuille de route pour améliorer la détection des menaces.