초록
일부 모델들은 지식 그래프의 차원을 비교적 낮은 차원으로 임베딩함으로써 링크 예측 문제, 즉 지식 그래프 완성 문제에 도전해왔다. 그러나 최신 기술 수준의 성능을 달성하기 위해서는 임베딩의 차원이 상당히 증가해야 하며, 이는 대규모 지식 기반에서의 확장성 문제를 야기한다. 최근 Transformer는 지식 그래프에 대한 강력한 인코더로 성공적으로 활용되고 있으나, 현재까지 개발된 모델들 역시 여전히 확장성 문제를 겪고 있다. 이러한 한계를 해결하기 위해, 표현력이 풍부하면서도 저차원의 임베딩을 얻을 수 있는 Transformer 기반 모델을 제안한다. 본 연구에서는 엔티티와 관계 간의 상호 정보를 포착하기 위해 질의에 따라 달라지는 투영을 적용할 수 있는 핵심 도구로 다수의 자기주의(self-attention) 헤드를 활용한다. WN18RR 및 FB15k-237를 기준으로 한 링크 예측 벤치마크에서의 실험 결과는 제안 모델이 현재 최고 수준의 모델들과 비교해 유사한 성능을 보임을 입증한다. 특히, 제안 모델은 최근 5개 최고 수준의 경쟁 모델들과 비교해 평균적으로 임베딩 차원을 66.9%나 크게 감소시키면서도 희망적인 성능을 달성하였다.