HAHE: 글로벌 및 로컬 수준에서의 하이퍼관계 지식 그래프를 위한 계층적 어텐션

초월 관계 지식 그래프(Hyper-relational Knowledge Graph, HKG)에서의 링크 예측은 매우 가치 있는 연구 주제이다. HKG는 주요 삼중항과 여러 보조 속성-값 품질자(qualifier)로 구성된 초월 관계 사실(H-Fact)로 이루어져 있으며, 사실 기반의 포괄적인 정보를 효과적으로 표현할 수 있다. HKG의 내부 구조는 전역적으로 초그래프 기반 표현으로, 국지적으로는 의미적 시퀀스 기반 표현으로 모델링할 수 있다. 그러나 기존 연구는 일반적으로 HKG의 그래프 구조와 시퀀스 구조를 동시에 모델링하지 못하여, HKG의 표현 능력이 제한되어 왔다. 이러한 한계를 극복하기 위해 우리는 HKG 임베딩을 위한 새로운 계층적 주의 모델(Hierarchical Attention for HKG Embedding, HAHE)을 제안한다. HAHE는 전역 수준과 국지 수준의 주의 메커니즘을 포함한다. 전역 수준의 주의는 초그래프 이중 주의(duaI-attention) 레이어를 통해 HKG의 그래프 구조를 모델링하고, 국지 수준의 주의는 이질적 자기 주의(heterogeneous self-attention) 레이어를 통해 H-Fact 내부의 시퀀스 구조를 학습한다. 실험 결과, HAHE는 HKG 표준 데이터셋에서 링크 예측 과제에서 최고 수준의 성능을 달성함을 확인하였다. 더불어 HAHE는 HKG의 다중 위치 예측 문제를 최초로 해결함으로써, HKG 링크 예측 과제의 적용 가능성을 크게 향상시켰다. 본 연구의 코드는 공개되어 있으며, 누구나 접근 가능하다.