초록
본 논문에서는 문장 인코딩 기반 모델을 제안하여 텍스트 연역을 인식하는 방법을 다루었습니다. 본 접근법에서 문장의 인코딩은 두 단계로 이루어지는 과정입니다. 첫 번째 단계에서는 단어 수준의 양방향 LSTM(biLSTM)에 평균 풀링을 적용하여 초기 문장 표현을 생성합니다. 두 번째 단계에서는 같은 문장에서 더 나은 표현을 얻기 위해 평균 풀링 대신 주의 메커니즘(attention mechanism)을 사용합니다. 타겟 문장이 소스 문장의 단어들에 주의를 기울이는 것이 아니라, 본 논문에서는 문장의 첫 번째 단계 표현이 자신에게 나타난 단어들에 주의를 기울이는 방식, 즉 "인내-주목(Inner-Attention)" 메커니즘을 활용하였습니다. 스탠퍼드 자연어 추론(SNLI) 코퍼스에서 수행된 실험들은 "인내-주목" 메커니즘의 효과성을 입증하였습니다. 파라미터 수가 적음에도 불구하고, 본 모델은 기존 최고의 문장 인코딩 기반 접근법보다 크게 우수한 성능을 보였습니다.