KEPLER: 지식 임베딩과 사전 학습된 언어 표현을 위한 통합 모델

事전 학습 언어 표현 모델(PLMs)은 텍스트에서 사실적 지식을 잘 포착하지 못합니다. 반면에, 지식 임베딩(KE) 방법은 정보가 풍부한 엔티티 임베딩으로 지식 그래프(KGs)의 관계적 사실을 효과적으로 표현할 수 있지만, 기존 KE 모델들은 풍부한 텍스트 정보를 충분히 활용하지 못합니다. 본 논문에서는 사실적 지식을 PLMs에 더 잘 통합하고, 강력한 PLMs를 통해 텍스트 강화형 KE를 생성할 수 있는 지식 임베딩과 사전 학습 언어 표현의 통합 모델인 KEPLER(Knowledge Embedding and Pre-trained LanguagE Representation)을 제안합니다. KEPLER에서는 PLM을 사용하여 텍스트 엔티티 설명을 그들의 임베딩으로 인코딩하고, 이후 KE와 언어 모델링 목적함수를 공동으로 최적화합니다. 실험 결과는 KEPLER가 다양한 자연어 처리(NLP) 작업에서 최고의 성능을 달성하였으며, 또한 KG 링크 예측에서 유도적 KE 모델로서 뛰어난 성능을 보임을 나타냅니다. 또한, KEPLER의 사전 학습 및 평가를 위해 대규모 KG 데이터셋인 Wikidata5M과 일치된 엔티티 설명을 구축하였으며, 이 데이터셋에서 최신 KE 방법들을 벤치마킹하였습니다. 이는 새로운 KE 벤치마크로 작용하며, 대규모 KG, 유도적 KE 및 텍스트 포함 KG 연구를 촉진할 것입니다. 소스 코드는 https://github.com/THU-KEG/KEPLER에서 얻을 수 있습니다.