11일 전

사전 훈련된 모델은 지식 그래프 완성에 도움이 되는가? 신뢰할 수 있는 평가와 합리적인 접근법

{Anonymous}
사전 훈련된 모델은 지식 그래프 완성에 도움이 되는가? 신뢰할 수 있는 평가와 합리적인 접근법
초록

최근 몇 년간 사전 학습된 언어 모델(PLM)이 방대한 텍스트에서 사실 지식을 포착할 수 있음이 입증되면서, 이를 기반으로 한 지식 그래프 완성(KGC) 모델이 제안되고 있다. 그러나 이러한 모델들은 여전히 최첨단(SOTA) KGC 모델에 비해 성능 면에서 크게 뒤처져 있다. 본 연구에서는 이러한 성능 저하의 주요 원인 두 가지를 발견하였다. 첫째, 평가 설정이 정확하지 않다는 점이다. 폐쇄 세계 가정(CWA) 하에서의 평가 설정은 PLM 기반 KGC 모델이 외부 지식을 더 많이 도입한다는 점을 반영하지 못해, 오히려 모델의 성능을 과소 평가할 수 있다. 둘째, PLM의 적절한 활용이 이루어지지 않았다는 점이다. 대부분의 PLM 기반 KGC 모델은 엔티티와 관계의 레이블을 단순히 연결하여 입력으로 사용함으로써, 자연스럽지 않은 문장 구조를 형성하게 되어, PLM 내부에 내재된 지식을 충분히 활용하지 못한다. 이러한 문제를 완화하기 위해, 개방 세계 가정(OWA) 하에서 보다 정확한 평가 설정을 제안하며, 지식 그래프(KG)에 포함되지 않은 지식에 대해 수동으로 정확성을 검증하는 방식을 도입하였다. 또한 프롬프트 튜닝(prompt tuning)의 아이디어에 영감을 받아, 새로운 PLM 기반 KGC 모델인 PKGC를 제안한다. 본 모델의 핵심 아이디어는 각 트리플과 그 지지 정보를 자연어 프롬프트 문장으로 변환한 후, 이를 PLM에 입력하여 분류하는 것이다. 두 개의 KGC 데이터셋에 대한 실험 결과, OWA 설정이 KGC 평가에 더 신뢰할 수 있음을 입증하였으며, 특히 링크 예측(task)에서 두드러진 효과를 보였다. 또한 PKGC 모델은 CWA와 OWA 설정 모두에서 뛰어난 성능을 나타내어, 제안된 방법의 유효성을 입증하였다.

사전 훈련된 모델은 지식 그래프 완성에 도움이 되는가? 신뢰할 수 있는 평가와 합리적인 접근법 | 최신 연구 논문 | HyperAI초신경