摘要
大型语言模型（LLMs）因其在处理富含文本属性的图数据方面的能力，尤其是以零样本（zero-shot）方式执行任务，正受到越来越多的关注。近期研究显示，LLMs在常见的文本丰富型图基准数据集上能够实现良好的文本分类性能，而通过将编码后的结构信息以自然语言形式融入提示（prompt），其性能还可进一步提升。本文旨在深入理解：为何图数据中固有的结构信息的引入能够提升LLMs的预测性能。首先，为排除数据泄露（data leakage）带来的干扰，我们构建了一个全新的无泄露数据集，并将其与此前广泛使用的数据集进行对比分析，以验证结果的可靠性。其次，鉴于以往研究通常通过自然语言描述图结构来编码“中心节点图”（ego-graph），我们提出关键问题：LLMs是否能够按照提示设计者的意图，真正理解提示中的图结构信息？第三，我们进一步探究LLMs在引入结构信息后性能提升的内在机制。通过对上述问题的系统性探索，我们得出以下结论：（i）并无充分证据表明LLMs的性能提升主要源于数据泄露；（ii）LLMs并未如提示设计者所预期的那样将提示内容理解为图结构信息，而是更倾向于将其视为上下文连贯的段落进行处理；（iii）提示中对局部邻域信息最有效的贡献，是与节点标签高度相关的语义短语，而非图结构本身的拓扑特征。综上所述，LLMs在图文本任务中性能的提升，并非源于对图结构的深层理解，而是得益于提示中所包含的与标签相关的关键语义信息。这一发现对如何设计更有效的图提示策略具有重要启示意义。