KELM: 계층적 관계 그래프에서 메시지 전달을 통한 지식 강화 사전 훈련 언어 표현

최근 자연어처리(NLP) 연구에서 BERT와 같은 사전 훈련된 언어 모델(PLM)에 사실 지식을 통합하는 것은 주목받는 추세이다. 그러나 기존 대부분의 방법들은 외부 지식 통합 모듈을 수정된 사전 훈련 손실과 결합하고, 대규모 코퍼스에서 다시 사전 훈련 과정을 재구현하는 방식을 채택하고 있다. 이러한 재사전 훈련 과정은 일반적으로 자원을 많이 소모하며, 지식 그래프(KG)가 다른 도메인에 쉽게 적용되기 어렵다. 게다가 이러한 기존 연구들은 텍스트 맥락에 따라 지식 맥락을 동적으로 임베딩하지 못하거나, 지식의 모호성 문제를 해결하기 어려운 경우가 많다. 본 논문에서는 미세조정(fine-tuning) 과정 기반의 새로운 지식 인식 언어 모델 프레임워크를 제안한다. 이 프레임워크는 기존 PLM에 텍스트와 KG에서 추출한 다중 관계 하위 그래프를 포함하는 통합된 지식 강화 텍스트 그래프를 부여한다. 또한, 관계 기반 계층적 그래프 메시지 전달 메커니즘을 설계하여, 주입된 KG와 텍스트의 표현이 상호 갱신될 수 있도록 하며, 동일한 텍스트를 공유하는 모호한 언급 엔티티를 동적으로 선택할 수 있도록 한다. 실증 결과는 제안하는 모델이 BERT와 같은 기존 언어 모델에 지식 그래프로부터의 세계 지식을 효율적으로 통합할 수 있으며, 다른 지식 강화 모델에 비해 기계 독해(MRC) 작업에서 상당한 성능 향상을 달성할 수 있음을 보여준다.