HittER: 지식 그래프 임베딩을 위한 계층적 트랜스포머

이 논문은 복잡한 다중 관계 지식 그래프에서 엔티티와 관계의 표현을 학습하는 어려운 문제를 다룬다. 우리는 소스 엔티티의 이웃을 기반으로 엔티티-관계 조합과 관계적 맥락화를 공동으로 학습할 수 있는 계층적 트랜스포머 모델인 HittER을 제안한다. 제안하는 모델은 두 가지 서로 다른 트랜스포머 블록으로 구성된다. 하위 블록은 소스 엔티티의 국소적 이웃 내 각 엔티티-관계 쌍의 특징을 추출하고, 상위 블록은 하위 블록의 출력에서 얻은 관계 정보를 종합한다. 또한 관계적 맥락과 소스 엔티티 자체의 정보 간 균형을 맞추기 위해 마스킹된 엔티티 예측 작업을 추가로 설계하였다. 실험 결과, HittER은 여러 링크 예측 데이터셋에서 새로운 최고 성능을 달성하였다. 더불어 HittER을 BERT에 간단히 통합하는 방법을 제안하고, 두 개의 Freebase 팩토이드 질의 응답 데이터셋에서 그 효과성을 입증하였다.