GrapeQA: GRaph Augmentation and Pruning zur Verbesserung der Frage-Antwort-Verarbeitung

Methoden für den Common-sense-Frage-Antwort (QA) kombinieren die Stärken vortrainierter Sprachmodelle (Language Models, LM) mit dem Schlussfolgern mithilfe von Wissensgraphen (Knowledge Graphs, KG). Ein typischer Ansatz extrahiert aus einem KG Knoten, die für das QA-Paar relevant sind, um einen Arbeitsgraphen (Working Graph, WG) zu bilden, gefolgt von einer Schlussfolgerung mittels Graph Neural Networks (GNNs). Dies begegnet zwei zentralen Herausforderungen: (i) Es ist schwierig, sämtliche Informationen aus dem QA-Paar im WG zu erfassen, und (ii) der WG enthält einige irrelevanten Knoten aus dem KG. Um diese Probleme zu adressieren, schlagen wir GrapeQA vor, das zwei einfache Verbesserungen am WG vornimmt: (i) Prominent Entities for Graph Augmentation identifiziert relevante Textabschnitte aus dem QA-Paar und erweitert den WG um entsprechende latente Repräsentationen aus dem LM, und (ii) Context-Aware Node Pruning entfernt Knoten, die weniger relevant für das QA-Paar sind. Wir evaluieren unsere Ergebnisse auf OpenBookQA, CommonsenseQA und MedQA-USMLE und stellen fest, dass GrapeQA konsistente Verbesserungen gegenüber seinem Vorgänger LM + KG (insbesondere QA-GNN) erzielt und insbesondere auf OpenBookQA signifikante Fortschritte zeigt.