주목력 정규화를 통한 시퀀스-투-시퀀스 학습: E2E NLG 챌린지에 응용

이 논문은 엔드투엔드(End-to-End, E2E) 자연어 생성(Natural Language Generation, NLG) 챌린지에 사용한 시스템에 대해 설명한다. 이 챌린지는 레스토랑 도메인의 음성 대화 시스템을 위한 새로운 데이터셋을 수집하였으며, 이 데이터셋은 더 풍부한 어휘 표현과 문법적 다양성을 보여주며, 콘텐츠 선택(content selection)을 요구한다(Novikova 등, 2017). 이 문제를 해결하기 위해 우리는 CAEncoder를 강화한 시퀀스-투-시퀀스 학습 모델(Zhang 등, 2017)을 활용하고, 입력 단어들에 걸쳐 주의(attention) 가중치를 균일하게 분포시키며 과적합(overfitting) 문제를 제어하기 위한 주의 정규화 기법(attention regularizer)을 제안한다. 특별한 사전 설정 없이도 본 시스템은 매우 우수한 성능을 달성한다. 특히, 본 시스템은 ROUGE-L 점수 0.7083을 기록하여 제출된 모든 주요 시스템 중에서 최고 성능을 보였다.