11일 전
지식 그래프 완성을 위한 공동 언어 의미 및 구조 임베딩
Jianhao Shen, Chenguang Wang, Linyuan Gong, Dawn Song

초록
지식 트리플릿의 완성 작업은 다양한 후속 응용 분야에 걸쳐 중요한 의미를 갖는다. 지식 그래프 완성 과정에서 구조적 정보와 의미적 정보 모두 중요한 역할을 한다. 기존의 접근 방식들이 지식 그래프의 구조나 의미 중 하나에만 의존하는 반면, 본 연구에서는 지식 트리플릿의 자연어 설명에 담긴 의미 정보와 구조 정보를 함께 통합하여 임베딩하는 새로운 방법을 제안한다. 본 방법은 확률적 구조 손실을 기반으로 사전 훈련된 언어 모델을 미세 조정함으로써 지식 그래프를 완성 작업에 적합한 형태로 임베딩한다. 이 과정에서 언어 모델의 전방 전파는 의미 정보를 추출하고, 손실 함수는 구조 정보를 재구성한다. 다양한 지식 그래프 벤치마크에서 수행한 광범위한 실험을 통해 본 방법이 최고 수준의 성능을 보임을 입증하였다. 또한, 의미 정보를 보다 효과적으로 활용함으로써 본 방법이 자원이 제한된 환경에서도 성능을 크게 향상시킬 수 있음을 보였다. 코드 및 데이터셋은 https://github.com/pkusjh/LASS 에서 공개되어 있다.