텍스트 이해를 위한 게이트 주의 독자(Gated-Attention Readers)

본 논문에서는 문서에 대한 클로즈 스타일 질문 응답 문제를 연구합니다. 제안된 모델인 게이트 주의(Gated-Attention, GA) 리더는 다중 홉(multi-hop) 아키텍처와 새로운 주의 메커니즘을 통합합니다. 이 주의 메커니즘은 쿼리 임베딩과 순환 신경망(RNN) 문서 리더의 중간 상태 간의 곱셈적 상호작용(multiplicative interactions)을 기반으로 합니다. 이를 통해 문서 내 토큰들의 쿼리 특화 표현(query-specific representations)을 구축하여 정확한 답변 선택이 가능해집니다. GA 리더는 이 작업에 대한 세 가지 벤치마크(CNN 및 Daily Mail 뉴스 스토리, Who Did What 데이터셋)에서 최고 수준의 성능을 달성하였습니다. 곱셈적 상호작용의 효과성은 생략 연구(ablation study)를 통해 입증되었으며, 다른 게이트 주의 구현을 위한 구성 연산자(compositional operators)들과 비교를 통해 확인되었습니다. 코드는 https://github.com/bdhingra/ga-reader에서 제공됩니다.