MEMEN: 다층 임베딩과 메모리 네트워크를 활용한 기계 이해력 향상

기계 이해(Machine Comprehension, MC) 스타일의 질문 응답은 자연어 처리 분야에서 대표적인 문제 중 하나입니다. 이전 방법들은 문장 구조 정보와 단어의 고유 명사(Name Entity) 임베딩 등 인코딩 레이어의 개선에 거의 시간을 들이지 않았는데, 이러한 요소들은 인코딩 품질에 매우 중요합니다. 또한, 기존의 어텐션 메서드는 각 쿼리 단어를 벡터로 표현하거나 전체 쿼리 문장을 단일 벡터로 표현하는데, 어느 경우든 쿼리 문장 내 핵심 단어들의 적절한 가중치를 처리할 수 없습니다. 본 논문에서는 기계 독해 작업을 위한 새로운 신경망 아키텍처인 다층 임베딩과 메모리 네트워크(Multi-layer Embedding with Memory Network, MEMEN)를 소개합니다. 인코딩 레이어에서는 단어의 구문적 및 의미적 정보에 대해 클래식 스카이프그램 모델을 적용하여 새로운 종류의 임베딩 레이어를 학습시킵니다. 또한, 쿼리와 패시지 간의 전방향 일치를 위한 메모리 네트워크를 제안하여 더 중요한 정보를 포착할 수 있도록 합니다. 실험 결과, 우리의 모델은 스탠퍼드 질문 응답 데이터셋(Stanford Question Answering Dataset, SQuAD)에서 정확성과 효율성 면에서 모든 발표된 결과들 사이에서 경쟁력 있는 성능을 보였으며, TriviaQA 데이터셋에서는 최신 연구 결과(state-of-the-art results)를 달성하였습니다.