2달 전

2차원 컨볼루션 지식 그래프 임베딩

Tim Dettmers; Pasquale Minervini; Pontus Stenetorp; Sebastian Riedel
2차원 컨볼루션 지식 그래프 임베딩
초록

지식 그래프에 대한 링크 예측은 엔티티 간의 누락된 관계를 예측하는 작업입니다. 이전의 링크 예측 연구는 대규모 지식 그래프로 확장할 수 있는 얕고 빠른 모델에 초점을 맞추었습니다. 그러나 이러한 모델은 깊고 여러 층으로 구성된 모델보다 표현력이 낮은 특징을 학습하기 때문에 성능이 제한될 가능성이 있습니다. 본 연구에서는 링크 예측을 위한 다층 컨벌루션 네트워크 모델인 ConvE를 소개하고, 몇 가지 기존 데이터셋에서 최신 성능 결과를 보고합니다. 또한, 이 모델이 매우 효율적인 매개변수를 사용하며, DistMult와 R-GCN보다 각각 8배와 17배 적은 매개변수로 동일한 성능을 내는 것을 보여줍니다. 우리의 모델 분석 결과, 이 모델은 Freebase와 YAGO3와 같은 고도로 연결되고 복잡한 지식 그래프에서 흔히 발견되는 높은 진입 차수(indegree)를 가진 노드를 모델링하는 데 특히 효과적임을 시사합니다.또한, WN18과 FB15k 데이터셋이 훈련 세트의 역관계가 테스트 세트에 포함되어 있어 테스트 세트 유출 문제가 있다는 점이 지적되었습니다. 그러나 이 문제의 범위는 아직 정량화되지 않았습니다. 우리는 이 문제가 심각하다는 것을 발견했습니다: 단순 규칙 기반 모델이 WN18과 FB15k에서 최신 성능 결과를 달성할 수 있었습니다. 따라서 역관계를 단순히 활용하여 경쟁력 있는 결과를 얻을 수 없는 데이터셋에서 모델들이 평가되도록 하기 위해, 여러 일반적으로 사용되는 데이터셋을 조사하고 검증하였으며 필요시 강건한 변형 데이터셋을 도출하였습니다. 그런 다음 이러한 강건한 데이터셋에서 우리 모델과 몇 가지 기존 제안된 모델들을 실험하여, ConvE가 대부분의 데이터셋에서 최신 평균 역순위(Mean Reciprocal Rank) 성능을 달성함을 확인하였습니다.