큰 형도 없고 작은 형도 없는 세상: 링크 예측 및 질문 응답을 위한 언어 모델에 대한 지식 유입

지식 그래프와 딥러닝의 통합은 다양한 자연어 처리(NLP) 작업의 성능 향상에 있어 급속히 발전하고 있다. 본 논문에서는 언어 모델인 T5와 BLOOM을 활용하여 항공, 영화, 웹의 세 가지 도메인에서 지식을 통합한 링크 예측 및 질의응답(QA) 작업에 초점을 맞춘다. 이와 같은 맥락에서 대규모 및 소규모 언어 모델에 지식을 통합하여 성능을 분석한 결과, 두 모델 간 성능 차이가 거의 없음을 확인하였다. 항공 지식 그래프에서의 링크 예측 작업에서 T5-small, T5-base, T5-large, BLOOM 모두 0.2의 hits@1 점수를 기록하였다. 또한, 템플릿 기반 스크립트를 활용하여 미국 국립교통안전위원회(NTSB) 보고서에서 100만 개의 합성 사실형 QA 쌍을 항공 도메인에 대해 생성하였다. 이러한 정제된 QA 쌍을 기반으로 T5의 세 가지 모델은 hits@1 점수 0.7을 달성하였다. 연구 결과의 신뢰성을 검증하기 위해 대응표본 t-검정과 코헨의 카파 계수(Cohen's kappa)를 사용하였다. T5-small 및 T5-large를 활용한 항공 지식 그래프의 링크 예측에서 코헨의 카파 계수는 0.76으로 나타나 모델 간의 강한 일치도를 보였다. 따라서 본 연구는 지식 통합을 통해 소규모 언어 모델도 대규모 언어 모델과 유사한 성능을 발휘할 수 있음을 시사한다.