태스크 지향 대화를 위한 간단한 언어 모델

태스크 지향 대화는 종종 세 가지 작업으로 분해됩니다: 사용자 입력 이해, 행동 결정, 그리고 응답 생성. 이러한 분해가 각 하위 작업에 대한 전용 모델을 제안할 수 있지만, 우리는 간단하고 통합된 접근 방식이 MultiWOZ 데이터셋에서 최고의 성능을 보인다는 것을 발견했습니다. SimpleTOD는 태스크 지향 대화를 위한 간단한 접근 방식으로, 모든 하위 작업을 단일 시퀀스 예측 문제로 재구성하여 하나의 인과 언어 모델로 훈련시키는 방법입니다. 이는 SimpleTOD가 GPT-2와 같은 사전 훈련된 오픈 도메인 인과 언어 모델에서 전이 학습을 완전히 활용할 수 있게 합니다. SimpleTOD는 대화 상태 추적에서 공동 목표 정확도를 개선하며, 우리의 분석은 이 설정에서 노이즈 주석에 대한 강건성을 드러냅니다. SimpleTOD는 또한 엔드투엔드 설정에서 행동 결정과 응답 생성을 평가하는 주요 메트릭들을 개선합니다: 정보 제공률은 8.1 포인트, 성공률은 9.7 포인트, 결합 점수는 7.2 포인트 상승하였습니다.