세트 예측 네트워크를 이용한 공동 엔티티 및 관계 추출

공동 엔티티 및 관계 추출 작업은 문장에서 모든 관계 삼중항을 추출하는 것을 목표로 한다. 본질적으로 문장 내 포함된 관계 삼중항은 순서가 없으며, 이전의 seq2seq 기반 모델들은 학습 단계에서 삼중항 집합을 일정한 순서의 시퀀스로 변환해야 했다. 이러한 한계를 극복하기 위해, 공동 엔티티 및 관계 추출을 직접적인 집합 예측 문제로 간주함으로써, 추출 모델이 다수의 삼중항 순서를 예측해야 하는 부담에서 벗어날 수 있도록 하였다. 이 집합 예측 문제를 해결하기 위해, 비자기적(parallel) 병렬 디코딩을 특징으로 하는 트랜스포머 기반 네트워크를 제안한다. 자기적(autoregressive) 접근 방식이 삼중항을 특정한 순서로 하나씩 생성하는 반면, 제안하는 네트워크는 한 번의 실행으로 최종 삼중항 집합을 직접 출력한다. 더불어, 이중 매칭(bipartite matching)을 통해 유일한 예측을 유도하는 집합 기반 손실 함수도 설계하였다. 삼중항 순서의 미세한 변화에 대해 강하게 처벌하는 교차 엔트로피 손실과 달리, 제안하는 이중 매칭 손실은 예측 결과의 어떤 순열에도 불변성을 가지므로, 삼중항의 순서에 주목하지 않고 관계 유형과 엔티티에 집중함으로써, 제안된 네트워크에 더 정확한 학습 신호를 제공할 수 있다. 두 가지 벤치마크 데이터셋에서의 실험 결과, 제안하는 모델이 현재 최고 성능의 기법들을 상당히 능가함을 확인하였다. 학습 코드와 학습된 모델은 http://github.com/DianboWork/SPN4RE 에 공개될 예정이다.