HyperAIHyperAI
vor 2 Monaten

Zweistufige Generative Fragebeantwortung auf zeitlichen Wissensgraphen unter Verwendung großer Sprachmodelle

Yifu Gao; Linbo Qiao; Zhigang Kan; Zhihua Wen; Yongquan He; Dongsheng Li
Zweistufige Generative Fragebeantwortung auf zeitlichen Wissensgraphen unter Verwendung großer Sprachmodelle
Abstract

Die Fragebeantwortung in zeitlichen Wissensgraphen (Temporal Knowledge Graph Question Answering, TKGQA) stellt eine bedeutende Herausforderung dar, aufgrund der in den Fragen verborgenen zeitlichen Einschränkungen und der aus dynamischen strukturierten Wissensquellen gesuchten Antworten. Obwohl große Sprachmodelle (Large Language Models, LLMs) erhebliche Fortschritte bei ihrer Fähigkeit zur Inferenz über strukturierte Daten gemacht haben, bleibt ihre Anwendung im Bereich der TKGQA relativ unerforscht. In dieser Arbeit wird erstmals ein neues generatives Framework für die Fragebeantwortung in zeitlichen Wissensgraphen, genannt GenTKGQA, vorgeschlagen. Dieses Framework leitet die LLMs durch zwei Phasen: Teilgraph-Extraktion und Antwortgenerierung. Zunächst nutzen wir das intrinsische Wissen der LLMs, um zeitliche Einschränkungen und strukturelle Verknüpfungen in den Fragen zu extrahieren, ohne zusätzliches Training. Dies verkleinert den Suchraum für Teilgraphen sowohl in zeitlicher als auch in struktureller Hinsicht. Im nächsten Schritt entwickeln wir virtuelle Wissensindikatoren, um die Signale des Graph Neural Networks des Teilgraphen und die Textrepräsentationen der LLM auf nicht oberflächliche Weise zu fusionieren. Dies ermöglicht es dem Open-Source-Sprachmodell durch Anweisungsfeinabstimmung (instruction tuning), die zeitliche Reihenfolge und die strukturellen Abhängigkeiten zwischen den abgerufenen Fakten tiefgründig zu verstehen. Die experimentellen Ergebnisse auf zwei weit verbreiteten Datensätzen belegen die Überlegenheit unseres Modells.