Command Palette

Search for a command to run...

4달 전

MoCoKGC: 지식 그래프 완성을 위한 모멘텀 컨트라스트 엔티티 인코딩

{YuChu Qin Yanru Zhong Qingyang Li}

MoCoKGC: 지식 그래프 완성을 위한 모멘텀 컨트라스트 엔티티 인코딩

초록

최근 몇 년간, 지식 그래프의 구조적 정보를 사전 학습된 언어 모델(PLM)에 통합함으로써 지식 그래프 완성(KGC) 작업에 대한 모델의 성능을 향상시키기 위한 수많은 연구가 수행되어 왔다. 그러나 기존의 접근 방식들은 지식 그래프의 구조적 특성과 엔티티의 텍스트 설명을 효과적으로 결합하여 강력한 엔티티 인코딩을 생성하지 못했다. 이 문제를 해결하기 위해 본 논문은 MoCoKGC(Momentum Contrast Entity Encoding for Knowledge Graph Completion)을 제안한다. MoCoKGC는 엔티티-관계 인코더, 엔티티 인코더, 모멘텀 엔티티 인코더의 세 가지 주요 인코더를 포함한다. 모멘텀 대조 학습은 더 많은 음성 샘플을 제공할 뿐만 아니라 엔티티 인코딩을 점진적으로 업데이트할 수 있도록 한다. 이를 통해 생성된 엔티티 인코딩을 다시 인코더에 반영함으로써 지식 그래프의 구조적 정보를 효과적으로 통합할 수 있다. 또한, MoCoKGC는 관계에 대한 심층 프롬프트(deep prompts)를 활용하여 엔티티-관계 인코더의 추론 능력을 강화한다. 표준 평가 지표인 평균 역수 순위(MRR) 기준으로 MoCoKGC 모델은 WN18RR 데이터셋에서 7.1%의 성능 향상을 기록했으며, Wikidata5M 데이터셋에서는 11%의 성능 향상을 달성했으며, FB15k-237 데이터셋에서도 현재까지 제안된 최고 성능 모델을 초과하였다. 다양한 실험을 통해 본 논문은 모델의 각 구성 요소와 하이퍼파라미터의 역할과 기여도를 체계적으로 분석하였다.

벤치마크

벤치마크방법론지표
link-prediction-on-fb15k-237MoCoKGC
Hits@1: 0.296
Hits@10: 0.580
Hits@3: 0.431
MRR: 0.391
link-prediction-on-wikidata5mMoCoKGC
Hits@1: 0.435
Hits@10: 0.591
Hits@3: 0.517
MRR: 0.490
link-prediction-on-wn18rrMoCoKGC
Hits@1: 0.665
Hits@10: 0.881
Hits@3: 0.792
MRR: 0.742

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
MoCoKGC: 지식 그래프 완성을 위한 모멘텀 컨트라스트 엔티티 인코딩 | 연구 논문 | HyperAI초신경