2달 전

문장 내 노이즈 감소 및 전이 학습을 통한 신경망 관계 추출

Tianyi Liu; Xinsong Zhang; Wanhao Zhou; Weijia Jia
문장 내 노이즈 감소 및 전이 학습을 통한 신경망 관계 추출
초록

관계 추출은 기존의 지식베이스를 활용하여 자동으로 관계적 사실을 추출하는 데 널리 사용되는 원격 감독 방법을 통해 지식베이스 완성 및 구축에 있어 중요한 역할을 합니다. 그러나 자동으로 구성된 데이터셋은 관련성이 없는 노이즈 단어를 포함한 저품질 문장들이 많아, 현재의 원격 감독 방법들은 이 문제를 간과하여 수용할 수 없는 정밀도를 초래합니다. 이러한 문제를 완화하기 위해, 우리는 새로운 단어 수준의 원격 감독 접근법을 제안합니다. 먼저, 관계와 무관한 노이즈 단어들을 제거하기 위해 부분 트리 파싱(Sub-Tree Parse, STP)을 구축합니다. 그런 다음, 각 인스턴스에서 관계 단어들의 중요한 의미론적 특성을 식별하기 위해 엔티티별 주의 메커니즘(entity-wise attention)을 적용하는 신경망을 구성합니다. 우리의 모델이 노이즈 단어들에 대해 더 견고해지도록 하기 위해, 전이 학습(transfer learning)을 통해 엔티티 분류와 관련된 작업에서 얻은 사전 지식(a priori knowledge)으로 신경망을 초기화합니다. 우리는 뉴욕타임스(NYT)와 프리베이스(Freebase) 코퍼스를 사용하여 광범위한 실험을 수행했습니다. 실험 결과는 우리의 접근법이 효과적이며, 최신 연구보다 정밀도/재현율(Precision/Recall, PR) 영역에서 0.35에서 0.39로 개선됨을 보여주었습니다.