MLMLM: 평균 가능도 마스킹 언어 모델을 이용한 링크 예측

지식 기반(KB)은 쿼리가 쉬우며 검증 가능하고 해석이 가능하다는 장점이 있다. 그러나 그 규모는 인건비와 고품질 데이터에 의존한다. 반면에, BERT와 같은 마스킹 언어 모델(MLM)은 컴퓨팅 파워와 비구조화된 원시 텍스트 데이터에 따라 확장된다. 그러나 이러한 모델 내부에 포함된 지식은 직접적으로 해석할 수 없다. 본 연구에서는 KB의 확장성 문제와 MLM의 해석성 문제를 동시에 해결하기 위해 MLM을 활용한 링크 예측을 제안한다. 이를 위해 우리는 MLMLM(Mean Likelihood Masked Language Model)을 도입한다. 이 방법은 다양한 실체(entity)를 생성할 때의 평균 가능성(mean likelihood)을 비교함으로써 효율적이고 실현 가능한 방식으로 링크 예측을 수행한다. 실험 결과, WN18RR 데이터셋에서 최신 기준(SotA) 성능을 달성하였으며, FB15k-237 데이터셋에서는 실체 임베딩 기반 접근법을 사용하지 않은 최고의 성능을 기록하였다. 또한, 이전에 본 적 없는 실체에 대한 링크 예측에서도 신뢰할 수 있는 결과를 얻었으며, 이는 MLMLM이 지식 기반에 새로운 실체를 도입하는 데 적합한 접근법임을 시사한다.