11일 전

저차원 하이퍼볼릭 지식 그래프 임베딩

Ines Chami, Adva Wolf, Da-Cheng Juan, Frederic Sala, Sujith Ravi, Christopher Ré
저차원 하이퍼볼릭 지식 그래프 임베딩
초록

지식 그래프(KG) 임베딩은 실체와 관계의 저차원 표현을 학습하여 누락된 사실을 예측한다. 지식 그래프는 종종 계층적이고 논리적인 패턴을 나타내며, 이러한 패턴들은 임베딩 공간에서도 유지되어야 한다. 계층적 데이터의 경우, 쌍곡선(hyperbolic) 임베딩 방법이 높은 정확도와 효율적인 표현을 가능하게 하여 주목받고 있다. 그러나 기존의 쌍곡선 임베딩 방법은 지식 그래프 내에 존재하는 풍부한 논리적 패턴을 고려하지 못하고 있다. 본 연구에서는 계층적 구조와 논리적 패턴을 동시에 포착할 수 있는 쌍곡선 기반 지식 그래프 임베딩 모델의 새로운 클래스를 제안한다. 제안하는 방법은 주목(attention)과 결합된 쌍곡선 반사(reflection) 및 회전(rotation)을 활용하여 복잡한 관계 패턴을 모델링한다. 표준 지식 그래프 벤치마크에서의 실험 결과, 기존의 유클리드 및 쌍곡선 기반 기법에 비해 낮은 차원에서도 평균 역수 순위(MRR) 기준으로 최대 6.1%의 성능 향상을 달성하였다. 또한, 다양한 기하학적 변환이 서로 다른 종류의 관계를 효과적으로 포착하는 반면, 주목 기반 변환은 여러 관계 유형에 일반화되는 경향을 보였다. 고차원에서 본 방법은 WN18RR에서 49.6%, YAGO3-10에서 57.7%의 MRR을 기록하며, 각각 새로운 최고 성능(SOTA)을 달성하였다.

저차원 하이퍼볼릭 지식 그래프 임베딩 | 최신 연구 논문 | HyperAI초신경