다중 작업 사전 훈련 언어 모델을 통한 의미 네트워크 완성

의미 네트워크, 예를 들어 지식 그래프는 그래프 구조를 활용하여 지식을 표현할 수 있다. 지식 그래프는 자연어 처리 분야에서 유망한 가치를 보이고 있으나, 불완전성 문제를 겪고 있다. 본 논문은 엔티티 간의 연결을 예측함으로써 지식 그래프를 보완하는 데 초점을 맞추며, 이는 기초적이면서도 핵심적인 과제이다. 의미 매칭은 새로운 엔티티를 다룰 수 있다는 잠재적 장점이 있어, 이동 거리 기반 방법이 어려움을 겪는 상황에서도 유용할 수 있다. 그러나 이동 거리 기반 방법과 경쟁 가능한 성능을 달성하기 위해서는 의미 매칭 기반 방법이 대규모 데이터셋을 필요로 하는데, 현실적인 환경에서는 이러한 데이터셋이 일반적으로 확보되지 않는다. 따라서 우리는 언어 모델을 활용하고, 다중 작업 사전 훈련과 지식 그래프 미세 조정을 포함하는 새로운 지식 그래프 아키텍처인 LP-BERT를 제안한다. 사전 훈련 단계에서는 삼중항의 관계를 예측함으로써 모델이 관계를 학습할 수 있도록 세 가지 작업을 수행한다. 미세 조정 단계에서는 대조 학습(contrastive learning)을 영감으로 삼아 배치 내에서 삼중항 스타일의 음성 샘플링 기법을 설계하였으며, 이는 훈련 시간을 거의 변화시키지 않으면서도 음성 샘플링 비율을 크게 증가시킨다. 더불어, 삼중항의 역관계를 활용한 새로운 데이터 증강 방법을 제안하여 모델의 성능과 내구성을 향상시켰다. 제안한 방법의 효과를 입증하기 위해 WN18RR, FB15k-237, UMLS 세 가지 널리 사용되는 데이터셋에서 광범위한 실험을 수행하였다. 실험 결과는 본 방법의 우수성을 입증하며, WN18RR 및 FB15k-237 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성하였다. 특히 WN18RR 데이터셋에서 Hits@10 지표가 이전 최고 성능 대비 5% 향상되었으며, UMLS 데이터셋에서는 100%에 도달하는 결과를 기록하였다.