11일 전

DensE: 적응형 의미 계층을 갖춘 지식 그래프 임베딩을 위한 개선된 비교교환 표현

Haonan Lu, Hailin Hu, Xiaodong Lin
DensE: 적응형 의미 계층을 갖춘 지식 그래프 임베딩을 위한 개선된 비교교환 표현
초록

관계의 구성 패턴을 포착하는 것은 지식 그래프 보완에서 핵심적인 과제이며, 학습된 지식에 대한 다단계 추론을 수행하기 위한 기초 단계이기도 하다. 기존에는 복소수 대각 행렬들의 곱을 이용해 복합 관계를 모델링하기 위해 여러 회전 기반의 이동 방법들이 개발되어 왔다. 그러나 이러한 방법들은 복합 관계에 대해 여러 과도하게 단순화된 가정을 내포하고 있으며, 예를 들어 관계들이 교환법칙을 만족하도록 강제하거나, 개별 엔티티에 독립적이며 의미적 계층 구조를 갖추지 못하도록 제한한다. 이러한 문제들을 체계적으로 해결하기 위해, 관계의 복잡한 구성 패턴을 보다 정교하게 모델링할 수 있는 새로운 지식 그래프 임베딩 기법인 DensE를 제안한다. 특히 본 연구에서는 각 관계를 3차원 유클리드 공간에서 SO(3) 군 기반의 회전 연산자와 스케일링 연산자로 분해하는 방식을 도입한다. 이 설계 원칙은 다음과 같은 여러 장점을 제공한다: (1) 복합 관계에 대해 대응하는 대각 관계 행렬이 교환 법칙을 따르지 않아도 되며, 이는 실제 응용 환경에서 흔히 나타나는 주요 상황을 반영한다; (2) 관계 연산과 엔티티 임베딩 간의 자연스러운 상호작용을 유지한다; (3) 스케일링 연산을 통해 엔티티의 내재적 의미 계층 구조를 효과적으로 모델링할 수 있다; (4) 파라미터 크기와 학습 시간 측면에서 높은 계산 효율성과 함께 DensE의 표현력이 향상된다; (5) 사원수 공간이 아닌 유클리드 공간에서 엔티티를 모델링함으로써 관계 패턴에 대한 명확한 기하학적 해석이 가능하다. 다양한 기준 지식 그래프에 대한 실험 결과를 통해 DensE가 현재 최고 성능을 기록하는 모델들을 상회함을 입증하였으며, 특히 복합 관계에 대한 누락된 링크 예측에서 뛰어난 성능을 보였다.

DensE: 적응형 의미 계층을 갖춘 지식 그래프 임베딩을 위한 개선된 비교교환 표현 | 최신 연구 논문 | HyperAI초신경