문장 쌍 모델링을 위한 다중 방향 주의망

문장 쌍의 모델링은 문장 간 관계를 판단하는 데 핵심적인 역할을 하며, 예를 들어 동의어 표현 식별(paraphrase identification), 자연어 추론(natural language inference), 답변 문장 선택(answer sentence selection) 등에 활용된다. 기존의 연구들은 주로 어텐션 메커니즘을 갖춘 신경망을 사용하여 매우 유망한 성과를 거두었다. 본 논문에서는 매칭-집계(matching-aggregation) 프레임워크 하에서 문장 쌍을 매칭하기 위해 다수의 어텐션 함수를 활용하는 다중 경로 어텐션 네트워크(multiway attention networks)를 제안한다. 구체적으로, 대응하는 문장 내 단어들을 매칭하기 위해 네 가지의 어텐션 함수를 설계하였다. 이후 각 어텐션 함수로부터 얻은 매칭 정보를 집계하고, 모든 함수의 정보를 통합하여 최종 표현을 도출한다. 실험 결과, 제안하는 다중 경로 어텐션 네트워크가 Quora 질문 쌍, SNLI, MultiNLI, 그리고 SQuAD 데이터셋에서의 답변 문장 선택 과제에서 성능 향상을 입증하였다.