Command Palette
Search for a command to run...
Yu Liu Xixun Lin Yanmin Shang Yangxi Li Shi Wang Yanan Cao

초록
지식 그래프 추론(Knowledge Graph Reasoning, KGR)은 지식 그래프 위에서 논리적 추론을 수행함으로써 새로운 지식을 도출하는 작업이다. 최근 대규모 언어 모델(Large Language Models, LLM)은 복잡한 추론 과제에서 뛰어난 성능을 보여주고 있다. 그러나 이러한 성과에도 불구하고, 기존의 LLM 기반 KGR 방법은 여전히 두 가지 핵심적인 한계를 안고 있다. 첫째, 기존 방법들은 추론 경로를 무분별하게 추출하는 경향이 있으며, 각 경로의 중요도를 평가하지 않기 때문에 관련 없는 노이즈가 발생할 수 있고, 이는 LLM의 추론을 오도할 수 있다. 둘째, 많은 방법들이 LLM을 활용해 잠재적 추론 경로를 동적으로 탐색하지만, 이 과정은 높은 검색 요구량과 빈번한 LLM 호출을 수반한다. 이러한 한계를 해결하기 위해, 본 연구는 중요한 추론 경로를 선택적으로 제공함으로써 신뢰성 있고 해석 가능한 추론을 향상시키는 새로운 프레임워크인 PathMind를 제안한다. 구체적으로, PathMind는 '검색-우선순위 정하기-추론'이라는 패러다임을 따르며, 먼저 검색 모듈을 통해 쿼리 서브그래프를 지식 그래프(KG)에서 추출한다. 다음으로, 의미 인지형 경로 우선순위 함수를 활용하여 누적 비용과 목표 도달을 위한 예상 미래 비용을 동시에 고려하는 경로 우선순위 기반 메커니즘을 도입하여 중요한 추론 경로를 식별한다. 마지막으로, 작업 특화 지시 조정(instruction tuning)과 경로별 선호도 정렬(path-wise preference alignment)을 포함하는 이중 단계 학습 전략을 통해 정확하고 논리적으로 일관된 응답을 생성한다. 기준 데이터셋에서 실시한 광범위한 실험 결과는 PathMind가 경쟁적 기준 모델들을 일관되게 상회함을 보여주며, 특히 입력 토큰 수가 적은 복잡한 추론 과제에서 핵심 추론 경로를 효과적으로 식별함으로써 뛰어난 성능을 발휘함을 확인하였다.