2달 전
다중 언급을 활용한 추론을 위한 신경망 모델
Bhuwan Dhingra; Qiao Jin; Zhilin Yang; William W. Cohen; Ruslan Salakhutdinov

초록
자연어 처리(NLP) 분야의 많은 문제들은 동일한 개체에 대한 여러 언급을 텍스트 내에서 멀리 떨어져 있을 수 있는 정보들을 집계하는 것이 필요합니다. 기존의 순환 신경망(RNN) 계층은 단기 의존성을 편향되어 있어 이러한 작업에 적합하지 않습니다. 우리는 공통 참조(coreferent) 의존성에 편향된 순환 계층을 제시합니다. 이 계층은 외부 시스템에서 추출한 공통 참조 주석을 사용하여 같은 클러스터에 속하는 개체 언급들을 연결합니다. 최신 읽기 이해 모델에 이 계층을 통합하면 위키홉(Wikihop), 람바다(LAMBADA), 그리고 바비 AI(bAbi AI) 작업 세 가지 데이터셋에서 성능이 향상되며, 특히 학습 데이터가 부족할 때 큰 성능 향상을 보입니다.