초록
질의응답(QA)은 인공지능(AI) 및 자연어처리(NLP) 분야에서 오랫동안 연구되어온 주제이며, QA 시스템이 인간 수준의 추론 능력을 갖추도록 하기 위한 다양한 연구가 진행되어 왔다. 인간의 복잡한 추론 과정을 근사하기 위해 최신의 QA 시스템은 사전 훈련된 언어 모델(LM)을 활용하여 LM 내에 인코딩된 지식을 접근하고, 지식 그래프(KG) 위에서 추론을 수행하기 위해 그래프 신경망(GNN) 기반의 정교하게 설계된 모듈을 함께 사용한다. 그러나 이러한 GNN 기반 모듈의 추론 기능에 대해 여전히 많은 문제들이 남아 있다. 이러한 GNN 기반 모듈은 진정으로 복잡한 추론 과정을 수행할 수 있는가? QA에 있어서 이들은 과도하게 복잡한가, 아니면 부족한가? GNN의 흑상 박스를 개방하고 이러한 문제들을 탐구하기 위해, 우리는 최신의 QA용 GNN 모듈을 분석하고 그 추론 능력을 평가하였다. 그 결과, 지식 인식 추론에 크게 의존하는 두 가지 대표적인 QA 벤치마크 데이터셋인 CommonsenseQA와 OpenBookQA에서, 매우 단순한 그래프 신경망 카운터 모듈이 기존의 모든 GNN 모듈을 능가하는 것을 발견하였다. 본 연구는 기존의 지식 인식 GNN 모듈이 사실상 단순한 추론, 예를 들어 카운팅 정도의 작업만 수행할 뿐이라는 점을 드러냈다. 지식 기반 QA를 위한 종합적인 추론 모듈을 구축하는 것은 여전히 도전적인 미해결 과제로 남아 있다.