확률적 엔드투엔드 과제지향 대화 모델: 잠재적 신념 상태를 활용한 반지도 학습을 위한 접근 방식

구조화된 신념 상태는 과제 지향 대화 시스템에서 사용자 목표 추적과 데이터베이스 쿼리에 필수적입니다. 그러나 신념 추적기의 훈련은 종종 각 사용자 발화에 대한 비용이 많이 드는 턴 수준 주석을 필요로 합니다. 본 논문에서는 라벨되지 않은 대화 데이터를 활용하여 반지도 학습을 수행함으로써, 엔드투엔드 대화 시스템 구축에 있어 신념 상태 라벨에 대한 의존성을 완화하는 것을 목표로 합니다. 우리는 사용자 입력이 주어졌을 때 시스템 응답과 함께 공동 모델링되는 이산 잠재 변수로 신념 상태를 표현하는 확률적 대화 모델인 LAtent BElief State (LABES) 모델을 제안합니다. 이러한 잠재 변수 모델링은 원칙적인 변분 학습 프레임워크 하에서 반지도 학습을 개발할 수 있게 해줍니다. 또한, LABES의 인스턴스인 복사 기능이 추가된 Seq2Seq 모델인 LABES-S2S를 소개합니다. 감독된 실험에서 LABES-S2S는 서로 다른 규모의 세 가지 벤치마크 데이터셋에서 강력한 결과를 얻었습니다. 라벨되지 않은 대화 데이터를 활용한 반지도 LABES-S2S는 감독만으로 이루어진 기법과 반지도 기법 모두보다 크게 우수한 성능을 보였습니다. 특히, MultiWOZ에서 성능 저하 없이 주석 요구량을 50%까지 줄일 수 있었습니다.