생성형 트랜스포머를 이용한 대비 삼중 추출

삼중 추출은 자연어 처리 및 지식 그래프 구축 분야에서 정보 추출의 핵심 과제이다. 본 논문에서는 시퀀스 생성 기반의 엔드투엔드 삼중 추출 과제를 재검토한다. 생성형 삼중 추출은 장기적 의존성 파악에 어려움을 겪고, 신뢰할 수 없는 삼중항을 생성할 수 있다는 점에서 한계를 지닌다. 이를 해결하기 위해 우리는 생성형 트랜스포머를 활용한 대조적 삼중 추출 모델을 제안한다. 구체적으로, 인코더-디코더 기반 생성에 사용할 수 있는 단일 공유 트랜스포머 모듈을 도입한다. 신뢰성 있는 결과를 생성하기 위해 새로운 삼중항 대조 학습 목표를 제안한다. 또한 모델 성능을 추가로 향상시키기 위해 두 가지 메커니즘(즉, 배치 단위 동적 어텐션 마스킹 및 삼중항 단위 캘리브레이션)을 도입한다. NYT, WebNLG, MIE 세 가지 데이터셋에서의 실험 결과는 제안한 방법이 기존 베이스라인보다 더 우수한 성능을 달성함을 보여준다.