대규모 지식 기반과 자연어에 대한 미분 가능한 추론

자연어로 표현된 지식과 지식베이스(KB)를 활용한 추론은 인공지능의 주요 과제이며, 기계독해, 대화, 질의응답 등 다양한 응용 분야에 활용된다. 텍스트의 표현과 변환을 동시에 학습하는 일반적인 신경망 아키텍처는 데이터 효율성이 매우 낮으며, 추론 과정을 분석하는 것도 어려운 문제가 있다. 이러한 문제를 해결하기 위해 신경 증명기(Neural Theorem Provers, NTPs)와 같은 엔드투엔드 미분 가능한 추론 시스템이 제안되었지만, 이는 소규모 심볼릭 지식베이스에서만 사용 가능하다. 본 논문에서는 NTP의 복잡성과 확장성 한계를 극복하기 위해 탐욕적 NTPs(Greedy NTPs, GNTPs)를 제안한다. 이는 추론 과정에서 가장 유망한 증명 경로들만 동적으로 계산 그래프에 포함함으로써, NTP보다 수개 차수 이상 효율적인 모델을 구현함으로써 실제 데이터셋에 적용 가능하게 한다. 또한, 지식베이스와 자연어 언급을 함께 추론하기 위한 새로운 접근법을 제안한다. 이 방법은 논리적 사실과 자연어 문장을 동일한 임베딩 공간에 매핑함으로써, 두 정보 소스 간의 통합 추론을 가능하게 한다. 실험 결과, GNTPs는 비용이 훨씬 낮은 수준에서 NTP와 유사한 성능을 보이며, 대규모 데이터셋에서 경쟁력 있는 링크 예측 성능을 달성하면서도 예측에 대한 설명을 제공하고 해석 가능한 모델을 유도함을 입증하였다. 소스 코드, 데이터셋 및 보충 자료는 https://github.com/uclnlp/gntp 에서 공개되어 있다.