18일 전

문맥화된 언급 표현 및 언급 쌍 가중치를 통한 문서 수준 관계 추출 향상

{Ping Jiang;Xian-Ling Mao;Binbin Bian;Heyan Huang}
초록

문서 수준 관계 추출(document-level relation extraction, RE)은 많은 관계 사실이 여러 문장에 분산하여 표현되기 때문에 큰 주목을 받고 있다. 최근에는 인코더-집계기 기반 모델이 문서 수준 RE에서 유망한 방향성을 보이고 있다. 그러나 이러한 모델들은 두 가지 한계를 지닌다. 첫째, 한 언급(mention)이 다양한 실체 쌍(entity pair)에 포함될 경우, 저비용으로 문맥화된 언급 표현을 얻지 못한다는 점이다. 둘째, 목표 실체 쌍의 언급 쌍들에 대해 서로 다른 가중치를 고려하지 않는다는 점이다. 위의 두 문제를 해결하기 위해 본 논문에서는 인코더와 집계기 사이에 두 가지 어텐션 기반 모듈인 어텐더(attender)를 도입한 새로운 인코더-어텐더-집계기 모델(EncAttAgg)을 제안한다. 구체적으로, 선택된 헤드 및 테일 언급에 대해 상호 어텐션(mutual attender)을 먼저 적용하여 효율적으로 문맥화된 언급 표현을 생성한다. 이후, 목표 실체 쌍의 언급 쌍들에 대해 가중치를 부여하기 위해 통합 어텐션(integration attender)을 활용한다. 두 개의 문서 수준 RE 데이터셋에서 실시한 광범위한 실험 결과, 제안하는 모델이 최신 기준 모델들보다 우수한 성능을 보였다. 본 연구의 코드는 공개되어 있으며, 다음과 같은 주소에서 확인할 수 있다: "https://github.com/nefujiangping/EncAttAgg".