2달 전

CopyMTL: 다중 작업 학습을 이용한 실체와 관계의 공동 추출을 위한 복사 메커니즘

Daojian Zeng; Ranran Haoran Zhang; Qianying Liu
CopyMTL: 다중 작업 학습을 이용한 실체와 관계의 공동 추출을 위한 복사 메커니즘
초록

주체와 관계의 공동 추출은 두 작업 모두에서 더 높은 성능을 제공할 수 있는 잠재력으로 인해 많은 주목을 받고 있습니다. 기존 방법들 중 CopyRE는 시퀀스-투-시퀀스 프레임워크와 복사 메커니즘을 사용하여 관계 삼중항을 직접 생성하는 효과적이고 혁신적인 방법입니다. 그러나 이 모델은 두 가지 치명적인 문제를 가지고 있습니다. 모델은 머리와 꼬리 실체를 구분하는 능력이 극히 약해, 실체 추출이 정확하지 않습니다. 또한 다중 토큰 실체(예: \textit{Steven Jobs})를 예측할 수 없습니다. 이러한 문제를 해결하기 위해, 우리는 실체 추출의 부정확성 문제의 원인에 대한 상세한 분석을 제시하고, 이 문제를 해결하기 위한 간단하면서도 매우 효과적인 모델 구조를 제안합니다. 또한 다중 토큰 실체를 예측할 수 있도록 복사 메커니즘을 탑재한 다중 작업 학습 프레임워크인 CopyMTL(Copy Multi-Task Learning)을 제안합니다. 실험 결과는 CopyRE의 문제점을 드러내며, 우리의 모델이 NYT에서는 9%, WebNLG에서는 16%(F1 점수)만큼 현 상태 최고의 방법보다 유의미한 개선을 보였음을 보여줍니다. 우리의 코드는 https://github.com/WindChimeRan/CopyMTL에서 확인할 수 있습니다.