초록
태스크 지향 대화에서 직접 디코딩은 설명 효과(Explaining-away effect)로 인해 짧고 일반적인 응답을 선호하는 모델에서 문제가 발생하는 것으로 알려져 있습니다. 본 연구에서는 베이즈 정리를 사용하여 대화 작업을 두 개의 모델로 분리하는 방법을 제안합니다. 이는 응답에 대한 맥락의 분포와 응답 자체의 사전 확률 분포를 의미합니다. 이러한 접근 방식은 노이즈 채널 모델의 구현으로, 설명 효과를 완화하면서도 응답의 사전 확률 분포에 큰 사전 학습된 모델을 체계적으로 통합할 수 있게 합니다. 우리는 광범위한 실험을 통해 노이즈 채널 모델이 직접 디코딩보다 더 나은 응답을 생성하며, 오픈 도메인과 태스크 지향 대화 데이터를 모두 활용하는 두 단계 사전 학습 전략이 무작위 초기화된 모델보다 우수함을 보여줍니다.