2달 전

시퀀스 추론 모델을 구축하여 엔드투엔드 응답 선택 수행

Jia-Chen Gu; Zhen-Hua Ling; Yu-Ping Ruan; Quan Liu
시퀀스 추론 모델을 구축하여 엔드투엔드 응답 선택 수행
초록

본 논문은 제7회 대화 시스템 기술 챌린지(DSTC7)의 트랙 1을 위한 종단 간 응답 선택 모델을 제시합니다. 이 과제는 부분적인 대화가 주어졌을 때 후보 집합에서 올바른 다음 발화를 선택하는 데 중점을 두고 있습니다. 우리는 이 과제를 위해 강화된 순차적 추론 모델(Enhanced Sequential Inference Model, ESIM) 기반의 종단 간 신경망을 제안합니다. 제안된 모델은 원래의 ESIM 모델과 다음과 같은 네 가지 측면에서 다릅니다. 첫째, 일반적으로 사전 훈련된 단어 임베딩과 작업 특유의 훈련 세트에서 추정된 단어 임베딩을 결합한 새로운 단어 표현 방법이 도입되어 어휘 외(OOV) 단어의 문제를 해결하기 위함입니다. 둘째, 문장을 계층적으로 인코딩하고 더 설명적인 표현을 생성하기 위해 집계하는 능력을 갖춘 주의 기반 계층적 재귀 인코더(Attentive Hierarchical Recurrent Encoder, AHRE)가 설계되었습니다. 셋째, 원래 ESIM에서 최대 풀링(max pooling)과 평균 풀링(average pooling)의 간단한 조합 대신 다차원 풀링과 마지막 상태 풀링(last-state pooling)을 결합한 새로운 풀링 방법이 사용되었습니다. 마지막으로, 응답 선택에 있어 맥락 내 마지막 발화의 중요성을 강조하기 위해 소프트맥스(softmax) 레이어 앞에 수정 레이어가 추가되었습니다. DSTC7에서 공개된 평가 결과에 따르면, 제안된 방법은 트랙 1의 서브태스크 1에서 우분투(Ubuntu) 데이터셋에서는 두 번째로, 상담(Advising) 데이터셋에서는 세 번째로 순위를 차지했습니다.

시퀀스 추론 모델을 구축하여 엔드투엔드 응답 선택 수행 | 최신 연구 논문 | HyperAI초신경