Bewertung semantischer Graphen zur Faktenüberprüfung

Die Faktenüberprüfung ist eine anspruchsvolle Aufgabe, da die Überprüfung der Richtigkeit einer Behauptung ein Schlussfolgern auf der Grundlage mehrerer nachprüfbarer Belege erfordert. In dieser Arbeit präsentieren wir eine Methode, die sich für das Schlussfolgern über die semantische Struktur von Belegen eignet. Im Gegensatz zu den meisten vorherigen Ansätzen, die Belegsätze typischerweise durch String-Konkatenation oder die Fusion isolierter Belegmerkmale darstellen, arbeitet unser Ansatz mit reichhaltigen semantischen Strukturen von Belegen, die mittels Semantischer Rollen-Zuweisung (Semantic Role Labeling, SRL) gewonnen werden. Wir schlagen zwei Mechanismen vor, um die Struktur der Belege auszunutzen, während gleichzeitig die Fortschritte prätrainierter Modelle wie BERT, GPT oder XLNet genutzt werden. Konkret verwenden wir XLNet als Basisarchitektur und definieren zunächst die relativen Abstände zwischen Wörtern neu auf der Grundlage des Graphen, wobei die Intuition zugrunde liegt, dass semantisch verwandte Wörter eine geringe Distanz zueinander aufweisen sollten. Anschließend setzen wir Graph-Convolutional Networks (GCN) und Graph-Attention Networks (GAT) ein, um Informationen von benachbarten Knoten im Graphen zu propagieren und zu aggregieren. Wir evaluieren unser System auf FEVER, einem Standard-Datensatz für die Faktenüberprüfung, und stellen fest, dass reichhaltige strukturelle Informationen hilfreich sind und beide graphbasierten Mechanismen die Genauigkeit verbessern. Unser Modell erreicht die bisher beste Leistung sowohl hinsichtlich der offiziellen Bewertungsmaße – nämlich der Behauptungsverifizierungsgenauigkeit und des FEVER-Scores – als auch im Vergleich zu anderen Ansätzen.