MoCoSA: 구조 강화된 사전 학습 언어 모델을 사용한 지식 그래프 완성의 모멘텀 대비

지식 그래프 완성(Knowledge Graph Completion, KGC)은 지식 그래프 내의 사실에 대한 추론을 수행하고 자동으로 누락된 링크를 유추하는 것을 목표로 합니다. 기존 방법들은 주로 구조 기반 또는 설명 기반으로 분류될 수 있습니다. 한편, 구조 기반 방법은 엔티티 임베딩을 사용하여 지식 그래프에서 관계적 사실을 효과적으로 표현합니다. 그러나 제한된 구조 정보로 인해 의미적으로 풍부한 실제 세계 엔티티를 처리하는 데 어려움이 있으며, 미리 본 적 없는 엔티티에 일반화하기 어렵습니다. 다른 한편, 설명 기반 방법은 사전 학습된 언어 모델(pre-trained language models, PLMs)을 활용하여 텍스트 정보를 이해합니다. 이들은 미리 본 적 없는 엔티티에 대해 강한 견고성을 보이지만, 큰 부정 샘플링에는 어려움을 겪으며 종종 구조 기반 방법보다 뒤처집니다.이러한 문제들을 해결하기 위해, 본 논문에서는 구조 증강 사전 학습 언어 모델(Structure-Augmented pre-trained language models)과 함께 모멘텀 대비(momentum contrast)를 사용하는 MoCoSA(Momentum Contrast for Knowledge Graph Completion with Structure-Augmented pre-trained language models) 접근법을 제안합니다. 이 접근법은 적응형 구조 인코더를 통해 PLM이 구조적 정보를 인식할 수 있도록 합니다. 학습 효율성을 개선하기 위해 모멘텀 하드 부정 샘플링과 관계 내 부정 샘플링을 제안하였습니다. 실험 결과는 우리의 접근법이 평균 역순위(mean reciprocal rank, MRR) 측면에서 최신 성능을 달성하며, WN18RR 데이터셋에서는 2.5%, OpenBG500 데이터셋에서는 21%의 개선률을 보였음을 입증하였습니다.