단어 주의력 이상: 신경망 관계 추출에서 세그먼트 주의력 사용

관계 추출은 문장 내 두 개의 실체 간의 의미적 관계를 예측하는 문제를 다룬다. 이 작업에서는 문장 내부의 노이즈를 완화하기 위해 단어들을 독립적으로 소프트 선택하는 주의 메커니즘(attention mechanism)이 자주 사용된다. 관계와 관련된 정보는 일반적으로 문장 내 연속된 단어들로 구성된 구간(segment)에 포함되어 있다는 관찰을 바탕으로, 이러한 현상을 활용하여 관계 추출 성능을 향상시킬 수 있다. 본 논문에서는 이러한 구간 정보를 신경망 기반 관계 추출기 내에 통합하는 것을 목표로 한다. 제안하는 방법은 주의 메커니즘을 잠재 변수 집합 위의 선형 사슬 조건부 확률 필드(linear-chain conditional random fields)로 간주하며, 간선이 원하는 구조를 인코딩하도록 한다. 또한 각 단어가 관계 표현의 일부로 선택될 확률, 즉 주의 가중치를 해당 단어의 주변 분포(marginal distribution)로 해석한다. 실험 결과, 본 방법은 명시적인 애너테이션 없이도 연속적인 관계 표현에 주의를 집중할 수 있으며, 대규모 TACRED 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성함을 입증하였다.