Können LLMs graphenstrukturelle Informationen effektiv über Prompts nutzen, und warum?

Große Sprachmodelle (LLMs) gewinnen zunehmend an Aufmerksamkeit wegen ihrer Fähigkeit, Graphen mit reichhaltigen Textattributen zu verarbeiten, insbesondere in einer Zero-Shot-Weise. Neuere Studien zeigen, dass LLMs auf gängigen Benchmarks für textreiche Graphen eine annehmbare Leistung bei der Textklassifikation erzielen, und dass sich diese Leistung durch die Hinzufügung strukturcodierter Informationen als natürliche Sprache in die Eingabeprompts weiter verbessern lässt. Unser Ziel ist es, zu verstehen, warum die Einbeziehung struktureller Informationen, die in graphenbasierten Daten inhärent sind, die Vorhersageleistung von LLMs verbessern kann. Zunächst eliminieren wir die Bedenken bezüglich Datenausnutzung (data leakage), indem wir ein neuartiges datenlecksicheres Datenset erstellen und eine vergleichende Analyse sowohl mit diesem als auch mit einem bereits weit verbreiteten Datenset durchführen. Zweitens fragen wir, da frühere Arbeiten die Ego-Graphen üblicherweise durch Beschreibung der Graphenstruktur in natürlicher Sprache kodieren: Verstehen LLMs die Graphenstruktur tatsächlich im Sinne der Prompt-Designer? Drittens untersuchen wir, warum LLMs ihre Leistung nach der Integration struktureller Informationen verbessern können. Unsere Untersuchung dieser Fragen ergibt folgende Erkenntnisse: (i) Es gibt keine signifikanten Hinweise darauf, dass die Leistung von LLMs wesentlich auf Datenausnutzung zurückzuführen ist; (ii) anstatt die Prompts als Graphenstrukturen im Sinne der Prompt-Designer zu verstehen, verarbeiten LLMs diese vielmehr eher als kontextuelle Abschnitte; (iii) die effektivsten Elemente der lokalen Nachbarschaft, die im Prompt enthalten sind, sind jene Phrasen, die mit dem Knotenlabel korrelieren, und nicht die Graphenstruktur selbst.