LLM은 프롬프트를 통해 그래프 구조 정보를 효과적으로 활용할 수 있는가, 그리고 그 이유는 무엇인가?

대규모 언어 모델(Large language models, LLMs)은 풍부한 텍스트 속성을 가진 그래프를 처리할 수 있는 능력으로 인해 점점 더 주목받고 있으며, 특히 제로샷(Zero-shot) 방식에서의 성능이 두드러진다. 최근 연구들은 LLMs가 일반적인 텍스트 중심 그래프 기준 데이터셋에서 충분한 텍스트 분류 성능을 달성함을 보여주었으며, 프롬프트에 인코딩된 구조 정보를 자연어 형태로 추가함으로써 성능을 더욱 향상시킬 수 있음을 입증하였다. 본 연구는 그래프 데이터 내에 내재된 구조 정보의 통합이 LLM의 예측 성능을 향상시키는 이유를 이해하는 것을 목표로 한다. 첫째, 기존에 널리 사용되던 데이터셋과 비교 분석을 수행하기 위해, 새로운 데이터 누출 없이 설계된 데이터셋을 구축함으로써 데이터 누출에 대한 우려를 배제한다. 둘째, 과거 연구들은 에고그래프(ego-graph)를 자연어로 그래프 구조를 묘사함으로써 인코딩하는 방식을 주로 사용해 왔다. 이에 따라 다음과 같은 질문을 제기한다: LLMs는 프롬프트 설계자의 의도에 따라 그래프 구조를 실제로 이해하고 있는가? 셋째, LLMs가 구조 정보를 포함함으로써 성능이 향상되는 이유를 탐구한다. 이러한 질문에 대한 탐색 결과, 다음과 같은 결론을 도출한다. (i) LLM의 성능 향상이 데이터 누출에 의해 크게 기인한다는 실질적인 증거는 없다. (ii) 프롬프트 설계자의 의도와는 달리, LLMs는 프롬프트를 그래프 구조로 이해하기보다는 문맥적 단락으로 처리하는 경향이 있다. (iii) 프롬프트에 포함된 국소적 이웃의 가장 효율적인 요소는 그래프 구조 자체가 아니라, 노드 레이블과 관련된 표현들이다.