2달 전

시퀀스와 트리 구조를 사용한 LSTM 기반 엔드투엔드 관계 추출

Makoto Miwa; Mohit Bansal
시퀀스와 트리 구조를 사용한 LSTM 기반 엔드투엔드 관계 추출
초록

우리는 엔티티와 그들 사이의 관계를 추출하기 위한 새로운 엔드투엔드 신경망 모델을 제시합니다. 우리의 순환 신경망(RNN) 기반 모델은 양방향 시퀀스 LSTM-RNNs 위에 양방향 트리 구조 LSTM-RNNs을 쌓아서 단어 시퀀스와 의존성 트리 하위 구조 정보를 모두 포착합니다. 이는 공유 매개변수를 사용하여 단일 모델에서 엔티티와 관계를 동시에 표현할 수 있게 합니다. 우리는 또한 엔티티 사전 학습과 스케줄링 샘플링을 통해 훈련 중 엔티티 검출을 촉진하고 관계 추출에 엔티티 정보를 활용합니다. 우리의 모델은 ACE2005에서 12.1%, ACE2004에서 5.7%의 상대적 오류 감소율을 달성하며, 엔드투엔드 관계 추출에서 최신 특징 기반 모델보다 우수한 성능을 보입니다. 또한, 명사적 관계 분류(SemEval-2010 Task 8)에서 우리의 LSTM-RNN 기반 모델이 최신 CNN 기반 모델(F1 점수로 평가)과 유리하게 비교됨을 보여줍니다. 마지막으로, 여러 모델 구성 요소에 대한 광범위한 제거 분석(ablation analysis) 결과를 제시합니다.