17일 전

문서 수준 관계 추출을 위한 적응형 포칼 손실과 지식 증류

Qingyu Tan, Ruidan He, Lidong Bing, Hwee Tou Ng
문서 수준 관계 추출을 위한 적응형 포칼 손실과 지식 증류
초록

문서 수준 관계 추출(Document-level Relation Extraction, DocRE)은 문장 수준 관계 추출과 비교하여 더 도전적인 과제이다. 이는 여러 문장에서 동시에 관계를 추출하는 것을 목표로 한다. 본 논문에서는 세 가지 새로운 구성 요소를 포함하는 반자동 학습 프레임워크를 제안한다. 첫째, 엔티티 쌍 간의 상호의존성을 학습하기 위해 축 방향(azimuthal) 어텐션 모듈을 활용하여 이중 경로(두 단계) 관계 추출 성능을 향상시켰다. 둘째, DocRE에서 흔한 클래스 불균형 문제를 해결하기 위해 적응형 포컬 손실(adaptive focal loss)을 제안하였다. 셋째, 인간 레이블 데이터와 원격 감독 데이터 간의 차이를 극복하기 위해 지식 증류(knowledge distillation) 기법을 적용하였다. 우리는 두 개의 DocRE 데이터셋에서 실험을 수행하였으며, 제안한 모델은 강력한 기준 모델들을 일관되게 상회하였고, DocRED 리더보드에서 기존 최고 성능(SOTA)보다 F1 점수 1.36, Ign_F1 점수 1.46 이상 우수한 성능을 기록하였다. 본 연구의 코드와 데이터는 https://github.com/tonytan48/KD-DocRE 에 공개될 예정이다.