GNN ist ein Gegenstand? Überprüfung von GNN für die Fragebeantwortung

Fragebeantwortung (Question Answering, QA) ist ein lang etabliertes Forschungsthema in den Bereichen Künstliche Intelligenz (KI) und Naturliche Sprachverarbeitung (NLP), und zahlreiche Studien haben unternommen, um QA-Systeme mit menschenähnlichen Schlussfolgerungsfähigkeiten auszustatten. Um den komplexen menschlichen Denkprozess nachzuahmen, nutzen moderne QA-Systeme üblicherweise vortrainierte Sprachmodelle (Language Models, LMs), um auf in diesen Modellen kodiertes Wissen zuzugreifen, ergänzt durch fein abgestimmte Module basierend auf Graph Neural Networks (GNNs), um Schlussfolgerungen über Wissensgraphen (Knowledge Graphs, KGs) zu ziehen. Dennoch bleiben zahlreiche Fragen offen bezüglich der Schlussfolgerungsfähigkeit dieser GNN-basierten Module. Können diese Module tatsächlich komplexe Schlussfolgerungsprozesse durchführen? Sind sie für QA zu einfach oder zu komplex gestaltet? Um das schwarze Kästchen von GNNs zu öffnen und diese Fragen zu untersuchen, analysieren wir state-of-the-art GNN-Module für QA detailliert und bewerten ihre Schlussfolgerungsfähigkeit. Wir entdecken, dass selbst ein äußerst einfaches graphenbasiertes Zählmodell alle bisherigen GNN-Module auf zwei populären QA-Benchmark-Datensätzen – CommonsenseQA und OpenBookQA –, die stark auf wissensbasierte Schlussfolgerung angewiesen sind, übertrifft. Unsere Arbeit zeigt, dass existierende wissensbasierte GNN-Module möglicherweise lediglich einfache Schlussfolgerungen wie Zählen durchführen können. Es bleibt eine herausfordernde offene Aufgabe, umfassende Schlussfolgerungsmoduln für wissensbasierte QA-Systeme zu entwickeln.