QA-GNN: 언어 모델과 지식 그래프를 활용한 질문 응답 추론

사전 훈련된 언어 모델(LMs)과 지식 그래프(KGs)를 사용하여 질문에 답하는 문제는 두 가지 도전 과제를 제시합니다: 주어진 QA 문맥(질문과 답변 선택지)이 있을 때, 방법들은 (i) 큰 KGs에서 관련 지식을 식별하고, (ii) QA 문맥과 KG 위에서 공동 추론을 수행해야 합니다. 본 연구에서는 이러한 도전 과제들을 해결하기 위해 두 가지 핵심 혁신을 통해 새로운 모델인 QA-GNN을 제안합니다: (i) 관련성 점수 산출, 여기서 우리는 LMs를 사용하여 주어진 QA 문맥에 대한 KG 노드의 중요성을 추정하며, (ii) 공동 추론, 여기서 우리는 QA 문맥과 KG를 연결하여 공동 그래프를 형성하고, 그래프 신경망을 통해 서로의 표현을 업데이트합니다. 우리는 우리의 모델을 상식(CommonsenseQA, OpenBookQA) 및 의학(MedQA-USMLE) 영역의 QA 벤치마크에서 평가하였습니다. QA-GNN은 기존의 LM 및 LM+KG 모델들을 능가하며, 해석 가능하고 구조화된 추론을 수행할 수 있는 능력을 보여주는데, 예를 들어 질문에서 부정을 올바르게 처리하는 등의 능력이 있습니다.