컨텍스트 인식형 시퀀스 to 시퀀스 모델에서 조건부 처리 개선

신경망 시퀀스-투-시퀀스 모델은 단일 입력 시퀀스를 단일 출력 시퀀스로 매핑하는 문제에 대해 잘 정립된 접근법이다. 본 연구에서는 요약형 질문 응답이나 문서 수준 번역과 같이, 생성 과정이 짧은 질의(query)와 긴 컨텍스트(context)에 조건부로 이루어지는 경우에 초점을 맞춘다. 기존의 시퀀스-투-시퀀스 접근 방식을 개선하여, 질의와 컨텍스트의 주의(attention)를 상호 연결하는 방식으로 조건부 메커니즘을 확장함으로써, 질의와 컨텍스트 양쪽을 보다 효과적으로 활용할 수 있도록 한다. 또한 제안된 모델을 위한 간단하고 효율적인 데이터 증강 방법을 도입한다. 세 가지 서로 다른 작업에 대한 실험 결과를 통해, 두 가지 개선 사항 모두 일관된 성능 향상을 가져왔음을 확인할 수 있다.