End-To-End Memory Networks 엔드투엔드 메모리 네트워크

우리는 대규모 외부 메모리에 대해 순환 주의 모델을 사용하는 신경망을 소개합니다. 이 아키텍처는 메모리 네트워크(Memory Network, Weston et al., 2015)의 형태이지만, 해당 연구에서 제시된 모델과 달리 엔드 투 엔드로 훈련되므로 훈련 과정에서 필요한 감독이 현저히 적어져 현실적인 환경에서 더 일반적으로 적용할 수 있습니다. 또한 이 모델은 출력 기호 하나당 여러 계산 단계(홉)를 수행하는 경우에 RNNsearch를 확장한 것으로 볼 수 있습니다. 모델의 유연성 덕분에 우리는 (합성) 질문 응답부터 언어 모델링까지 다양한 작업에 이를 적용할 수 있습니다.합성 질문 응답 작업에서는 우리의 접근 방식이 메모리 네트워크와 경쟁력을 갖추지만, 감독이 덜 필요합니다. 언어 모델링 작업에서는 Penn TreeBank 및 Text8 데이터셋에서 우리의 접근 방식이 RNN 및 LSTM과 비교 가능한 성능을 보여줍니다. 두 경우 모두 여러 계산홉의 핵심 개념이 개선된 결과를 가져온다는 것을 입증하였습니다.