3달 전

지식 그래프 임베딩을 위한 그래프 감쇠 주의망

{Rui Wang, Bicheng Li, Shengwei Hu, Min Zhang, Wenqian Du}
지식 그래프 임베딩을 위한 그래프 감쇠 주의망
초록

지식 그래프는 인공지능 응용 분야에 강력한 지원을 제공할 수 있는 풍부한 현실 세계 지식을 포함하고 있다. 지식 그래프 완성 기술 분야에서는 많은 진전이 이루어졌으며, 최첨단 모델들은 그래프 컨볼루션 신경망(GCN) 기반으로 구성되어 있다. 이러한 모델들은 그래프 모델의 특징과 결합하여 자동으로 특징을 추출하고, 강력한 표현 능력을 지닌 특징 임베딩을 생성한다. 그러나 이러한 기법들은 지식 그래프 내의 관계 경로에 대해 동일한 가중치를 부여하고 이웃 노드가 지닌 풍부한 정보를 무시함으로써 삼중항 특징의 완전한 탐사가 이루어지지 않는 문제가 있다. 이를 해결하기 위해 우리는 감쇠 주의 메커니즘(Attenuated Attention Mechanism)을 통합한 새로운 표현 방법인 그래프 감쇠 주의 네트워크(GAATs)를 제안한다. 이는 서로 다른 관계 경로에 대해 다양한 가중치를 부여함으로써 이웃 노드로부터 정보를 효과적으로 획득할 수 있도록 한다. 그 결과, 엔티티와 관계는 임의의 이웃 노드에서 학습될 수 있다. 실증 연구를 통해 감쇠 주의 기반 모델의 효과성을 입증하였으며, WN18RR 및 FB15k-237 두 가지 벤치마크 데이터셋에서 기존 최첨단 기법 대비 유의미한 성능 향상을 보였다.