언어 지식을 순환 신경망의 메모리로 활용하기

장기 의존성을 모델링하기 위해 순환 신경망을 훈련시키는 것은 어렵습니다. 따라서, 모델이 어떤 메모리를 활용해야 하는지를 알려주는 명시적인 신호로 외부 언어 지식을 사용하는 것을 제안합니다. 구체적으로, 외부 지식은 임의로 먼 요소 사이에 타입화된 엣지를 추가하여 시퀀스를 강화하고, 그 결과 그래프는 방향성 없는 부분그래프로 분해됩니다( Directed Acyclic Subgraphs). 우리는 이러한 그래프를 순환 신경망의 명시적 메모리로 인코딩하는 모델을 소개하며, 이를 텍스트에서 공참조 관계를 모델링하는 데 사용합니다. 우리의 모델을 여러 텍스트 이해 과제에 적용하여 모든 고려된 벤치마크(CNN, bAbi, LAMBADA)에서 새로운 최고 성능을 달성했습니다. bAbi QA 과제에서는 각 과제당 1000개의 훈련 예제만으로 20개 중 15개의 과제를 해결했습니다. 학습된 표현의 분석은 또한 우리의 모델이 문서 전반에 걸쳐 세밀한 실체 정보를 인코딩할 수 있는 능력을 보여줍니다.