Zu einer LLM-basierten Faktenüberprüfung von Nachrichtenbehauptungen mit einer hierarchischen schrittweisen Prompting-Methode

Obwohl große vortrainierte Sprachmodelle (LLMs) ihre beeindruckenden Fähigkeiten bei verschiedenen NLP-Aufgaben gezeigt haben, sind sie im Bereich von Fehlinformationen weiterhin wenig erforscht. In diesem Paper untersuchen wir die Anwendung von LLMs mit In-Context-Lernen (ICL) zur Überprüfung von Nachrichtenbehauptungen und stellen fest, dass bereits mit vier Demonstrationsbeispielen die Leistung mehrerer Prompting-Methoden vergleichbar mit vorherigen überwachten Modellen ist. Um die Leistung weiter zu steigern, führen wir eine hierarchische Schritt-für-Schritt-Prompting-Methode (HiSS) ein, die LLMs anleitet, eine Behauptung in mehrere Teilbehauptungen zu zerlegen und diese nacheinander über mehrere Fragen-Antwort-Schritte schrittweise zu überprüfen. Experimentelle Ergebnisse auf zwei öffentlichen Datensätzen zu Fehlinformationen zeigen, dass die HiSS-Prompting-Methode sowohl state-of-the-art vollständig überwachte Ansätze als auch starke Few-Shot-ICL-basierte Baselines übertrifft.