Vers une vérification des faits basée sur les LLM sur les affirmations journalistiques à l’aide d’une méthode hiérarchique de stimulation pas à pas

Bien que les grands modèles linguistiques pré-entraînés (LLM) aient démontré des capacités impressionnantes dans diverses tâches de traitement du langage naturel (NLP), leur potentiel reste largement sous-exploité dans le domaine de la désinformation. Dans ce papier, nous examinons l’utilisation des LLM avec apprentissage en contexte (ICL) pour la vérification des affirmations journalistiques, et constatons qu’avec seulement quatre exemples de démonstration (4-shot), la performance de plusieurs méthodes de prompting atteint un niveau comparable à celui des modèles précédemment supervisés. Pour améliorer davantage les résultats, nous proposons une nouvelle méthode de prompting hiérarchique et étape par étape (HiSS), qui guide les LLM à décomposer une affirmation en plusieurs sous-affirmations, puis à les vérifier progressivement à travers plusieurs étapes de question-réponse. Les résultats expérimentaux sur deux jeux de données publics de désinformation montrent que la méthode HiSS surpasser l’approche entièrement supervisée de pointe ainsi que les meilleures méthodes basées sur ICL à faible nombre d’exemples.