Les LLM peuvent-ils efficacement exploiter les informations structurelles des graphes à travers des prompts, et pourquoi ?

Les modèles linguistiques massifs (LLM) suscitent un intérêt croissant en raison de leur capacité à traiter des graphes riches en attributs textuels, notamment de manière zéro-shot. Des études récentes montrent que les LLM atteignent des performances satisfaisantes en classification de texte sur des benchmarks courants de graphes riches en texte, et que ces performances peuvent être améliorées en ajoutant, dans les prompts, des informations structurelles encodées sous forme de langage naturel. Nous cherchons à comprendre pourquoi l’intégration des informations structurelles inhérentes aux données de graphe peut améliorer la performance prédictive des LLM. Premièrement, nous éliminons le risque de fuite de données en construisant un nouveau jeu de données exempt de fuite et en menant une analyse comparative avec un jeu de données largement utilisé par le passé. Deuxièmement, comme les travaux antérieurs encodent généralement l’ego-graphe en décrivant la structure du graphe en langage naturel, nous nous demandons : les LLM comprennent-ils réellement la structure du graphe conformément à l’intention des concepteurs de prompts ? Troisièmement, nous explorons pourquoi les LLM améliorent leurs performances après l’intégration d’informations structurelles. Notre investigation de ces questions révèle que : (i) il n’existe pas de preuve substantielle que la performance des LLM soit significativement attribuable à une fuite de données ; (ii) au lieu de traiter les prompts comme des structures de graphe conformément à l’intention des concepteurs, les LLM les interprètent davantage comme des paragraphes contextuels ; (iii) les éléments les plus efficaces du voisinage local inclus dans le prompt sont des expressions pertinentes par rapport à l’étiquette du nœud, plutôt que la structure du graphe elle-même.