초록
시퀀스-투-시퀀스 모델은 자연어 처리(NLP) 분야의 다양한 작업에 적용되어 왔지만, 대화 상태 추적(dialogue state tracking)에 적절히 활용하는 방법에 대해서는 체계적인 연구가 이루어지지 않았다. 본 논문에서는 사전 훈련 목적과 문맥 표현 형식이라는 두 가지 관점에서 이 문제를 탐구한다. 우리는 사전 훈련 목적의 선택이 상태 추적 성능에 상당한 영향을 미친다는 것을 입증한다. 특히, 마스크된 스팬 예측(masked span prediction)이 순차적 언어 모델링(auto-regressive language modeling)보다 더 효과적임을 발견하였다. 또한, 텍스트 요약을 위한 스팬 예측 기반 사전 훈련 목적인 Pegasus를 상태 추적 모델에 적용해 보았으며, 비록 요약 작업과 상태 추적은 상당히 거리가 있지만, 사전 훈련이 예상보다 훌륭한 성능을 발휘함을 확인하였다. 더불어, 순환적 상태 문맥 표현(recurrent state context representation)도 상당히 합리적인 성능을 보였지만, 초기 오류를 복구하는 데 어려움을 겪을 수 있음을 발견하였다. 본 연구는 MultiWOZ 2.1-2.4, WOZ 2.0, DSTC2 데이터셋에서 실험을 수행하였으며, 일관된 결과를 관찰하였다.