그래프-위-경로: 지식 그래프를 활용한 대형 언어 모델의 추론

대형 언어 모델(LLMs)은 다양한 작업에서 뛰어난 성과를 거두었지만 환각 문제와 관련 지식 부족, 특히 깊고 복잡한 추론 및 지식 집약적인 작업에서 어려움을 겪고 있습니다. 지식 그래프(KGs)는 구조화된 형식으로 방대한 양의 사실을 포착하여 추론에 대한 신뢰할 수 있는 지식 출처를 제공합니다. 그러나 기존의 KG 기반 LLM 추론 방법들은 다단계 추론, 다중 엔티티 질문 처리, 그리고 그래프 구조의 효과적 활용 등에 대한 도전 과제들을 안고 있습니다.이러한 문제들을 해결하기 위해 우리는 그래프 위 경로(PoG)라는 새로운 방법을 제안합니다. PoG는 KGs에서 얻은 지식 추론 경로를 통합하여 LLM 추론을 강화함으로써 LLM 출력의 해석 가능성과 신뢰성을 향상시킵니다. PoG는 세 단계 동적 다단계 경로 탐색을 통해 다단계 및 다중 엔티티 질문을 처리하며, 이는 LLMs의 내재적 지식과 KGs의 사실적 지식을 결합합니다.효율성을 개선하기 위해 PoG는 먼저 그래프 탐색에서 관련성 없는 정보를 제거하고, 그래프 구조, LLM 프롬프팅, 사전 학습된 언어 모델(예: SBERT)을 활용하는 효율적인 세 단계 프루닝 기술을 도입하여 탐색 대상 후보 경로를 효과적으로 좁혀갑니다. 이로 인해 모든 추론 경로가 KGs에서 포착된 고도로 관련성이 있는 정보를 포함하게 되어, 문제 해결 과정에서 추론의 신뢰성과 해석 가능성을 보장합니다.PoG는 혁신적으로 그래프 구조를 활용하여 관련성 없는 노이즈를 제거하며, LLM 추론 작업에 있어 KGs 상의 다중 엔티티 깊은 경로 검출을 처음으로 구현한 방법입니다. 5개 벤치마크 KGQA 데이터셋에 대한 종합적인 실험 결과, PoG가 GPT-3.5-Turbo와 GPT-4에서 ToG보다 우수한 성능을 보임을 입증하였으며, 평균 정확도가 18.9% 향상되었습니다. 특히 GPT-3.5-Turbo와 함께 사용되는 PoG는 GPT-4와 함께 사용되는 ToG보다 최대 23.9% 더 높은 성능을 나타냈습니다.