LUKE: 실체 인지 자기 주의를 갖춘 깊이 있는 문맥 기반 실체 표현

엔티티 표현은 엔티티를 포함하는 자연어 처리 작업에서 유용하다. 본 논문에서는 이중 방향 트랜스포머 기반의 새로운 사전 훈련된 컨텍스트화된 단어 및 엔티티 표현을 제안한다. 제안하는 모델은 주어진 텍스트 내의 단어와 엔티티를 독립적인 토큰으로 취급하며, 각각에 대한 컨텍스트화된 표현을 출력한다. 본 모델은 BERT의 마스킹 언어 모델 기반의 새로운 사전 훈련 작업을 사용하여 훈련되며, 위키피디아에서 수집한 대규모 엔티티 주석이 달린 코퍼스에서 무작위로 마스킹된 단어와 엔티티를 예측하는 것을 목표로 한다. 또한, 트랜스포머의 자기주의 주의(self-attention) 메커니즘을 확장한 엔티티 인지(self-attention) 메커니즘을 제안한다. 이 메커니즘은 주의 점수를 계산할 때 토큰의 유형(단어 또는 엔티티)을 고려한다. 제안된 모델은 다양한 엔티티 관련 작업에서 뛰어난 실험적 성능을 달성하였으며, 특히 Open Entity(엔티티 타이핑), TACRED(관계 분류), CoNLL-2003(명명된 엔티티 인식), ReCoRD(클로즈 스타일 질의 응답), SQuAD 1.1(추출형 질의 응답)의 다섯 가지 유명한 데이터셋에서 최신 기술(SOTA) 수준의 성능을 기록하였다. 본 연구의 소스 코드 및 사전 훈련된 표현은 https://github.com/studio-ousia/luke 에서 공개되어 있다.