다중턴 대화 응답 선택을 위한 딥 어텐션 매칭 네트워크

인간은 대화 요소들 및 그 맥락 간의 의미적·기능적 종속 관계, 예를 들어 공지관계(coreference relation) 등을 기반으로 응답을 생성한다. 본 논문에서는 주어진 다단계 대화 맥락과 응답을 매칭하는 문제를 탐구하며, 순전히 어텐션 기반의 종속 정보를 활용한다. 제안하는 방법은 최근 제안된 기계 번역을 위한 Transformer(Vaswani 등, 2017)에 영감을 받았으며, 어텐션 메커니즘을 두 가지 방식으로 확장한다. 첫째, 반복된 자기 어텐션(self-attention)을 통해 다양한 분할 정도의 텍스트 세그먼트 표현을 구성한다. 둘째, 맥락과 응답 간의 어텐션을 통해 실제로 매칭되는 세그먼트 쌍을 추출해내려는 시도를 한다. 본 연구는 이러한 두 가지 유형의 어텐션을 하나의 통합된 신경망 내에서 공동으로 도입한다. 두 개의 대규모 다단계 응답 선택 작업에 대한 실험 결과, 제안하는 모델이 기존 최고 성능 모델들을 상당히 능가함을 보였다.