초록
지식 그래프가 대규모 복잡한 관계를 표현할 수 있는 능력 덕분에 지식 표현, 질의 응답, 추천 시스템 등 다양한 용도로 채택되고 있다. 그러나 지식 그래프는 표현하는 정보 측면에서 종종 불완전하며, 이에 따라 지식 그래프 보완(Knowledge Graph Completion) 작업이 필요하다. 사전 훈련 및 미세 조정된 언어 모델은 이러한 작업에서 희망적인 성과를 보였지만, 이러한 모델들은 지식 그래프 내에 내재된 중요한 정보—즉, 엔티티 및 관계 유형—을 무시하는 경향이 있다. 본 연구에서는 지식 그래프의 구조를 모델이 학습할 수 있도록 하기 위해, 고유한 엔티티 및 관계 유형을 구분할 수 있도록 설계된 새로운 엔티티/관계 임베딩 레이어를 도입한 지식 그래프 언어 모델(Knowledge Graph Language Model, KGLM) 아키텍처를 제안한다. 본 연구에서는 지식 그래프에서 추출한 삼중항(triples)을 사용해 이 추가 임베딩 레이어를 기반으로 언어 모델을 추가 사전 훈련한 후, 표준적인 미세 조정 단계를 거치는 방식이 기준 데이터셋에서 링크 예측 작업에 대해 새로운 최고 성능(SOTA, State-of-the-Art)을 달성함을 보여준다.