HyperAIHyperAI

Command Palette

Search for a command to run...

Pfade-über-Graph: Wissensgraphen-gestütztes Schließen von großen Sprachmodellen

Xingyu Tan Xiaoyang Wang* Qing Liu Xiwei Xu Xin Yuan Wenjie Zhang

Zusammenfassung

Große Sprachmodelle (LLMs) haben in verschiedenen Aufgaben beeindruckende Ergebnisse erzielt, kämpfen jedoch mit Halluzinationsproblemen und einem Mangel an relevantem Wissen, insbesondere bei tiefen komplexen Schlussfolgerungen und wissensintensiven Aufgaben. Wissensgraphen (KGs), die große Mengen von Fakten in strukturierter Form erfassen, bieten eine verlässliche Quelle des Wissens für Schlussfolgerungen. Bestehende KG-basierte LLM-Schlussfolgerungsmethoden stehen jedoch vor Herausforderungen wie der Behandlung von Multi-Hop-Schlussfolgerungen, Multi-Entity-Fragen und der effektiven Nutzung von Graphstrukturen. Um diese Probleme anzugehen, schlagen wir Paths-over-Graph (PoG) vor, eine neuartige Methode, die die LLM-Schlussfolgerung durch die Integration von Wissensschlussfolgerungspfaden aus KGs verbessert und so die Interpretierbarkeit und Zuverlässigkeit der LLM-Ausgaben erhöht. PoG bewältigt Multi-Hop- und Multi-Entity-Fragen durch eine dreiphasige dynamische Multi-Hop-Pfadexploration, die das inhärente Wissen der LLMs mit faktischem Wissen aus KGs kombiniert. Um die Effizienz zu steigern, entfernt PoG zunächst irrelevante Informationen aus der Pfadexploration und führt effiziente dreistufige Pruning-Techniken ein, die Graphstrukturen, LLM-Aufforderungen und ein vortrainiertes Sprachmodell (z.B., SBERT) nutzen, um die zu untersuchenden Kandidatenpfade effektiv einzuschränken. Dies stellt sicher, dass alle Schlussfolgerungspfade hoch relevante Informationen aus den KGs enthalten, was die Zuverlässigkeit und Interpretierbarkeit des Problemlösungsprozesses gewährleistet. PoG nutzt innovativ die Graphstruktur zur Entfernung irrelevanten Rauschens und ist die erste Methode zur Implementierung von Multi-Entity-Tiefenpfaderkennung auf KGs für LLM-Schlussfolgerungsaufgaben. Umfassende Experimente auf fünf Benchmark-Datensätzen für Wissensgraphbasierte Fragebeantwortung (KGQA) zeigen, dass PoG den aktuellen Stand der Technik ToG sowohl bei GPT-3.5-Turbo als auch bei GPT-4 übertrifft und einen durchschnittlichen Genauigkeitszuwachs von 18,9 % erreicht. Bemerkenswerterweise übertrifft PoG mit GPT-3.5-Turbo ToG mit GPT-4 um bis zu 23,9 %.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Pfade-über-Graph: Wissensgraphen-gestütztes Schließen von großen Sprachmodellen | Paper | HyperAI